说明
本文翻译自：《Exadata Database Machine Technical Architecture》
https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_overview.html
Engineered Systems Exadata Database Machine/Exadata Database Machine Documentation
01.Exadata Database Machine Technical Architecture
Exadata 数据库一体机技术架构 要探索技术架构，请单击图中的链接以深入查看更详细的视图。要查找链接，请将鼠标悬停（或将焦点移动到）图中的对象上。
Exadata 机架概述
注释 Oracle Exadata 数据库一体机具备横向扩展的行业标准数据库服务器、横向扩展的智能存储服务器，以及连接数据库和存储服务器的高速内部 RDMA 网络结构。 在单个机架中，您可以从包含两个数据库服务器和三个存储服务器的基本配置起步，并扩展到总计最多包含 19 个数据库和存储服务器的弹性配置。 Exadata 数据库一体机还包括用于连接数据库服务器和存储服务器的网络交换机，并且您可以选配核心交换机来连接多个机架。 注意：所有规格均针对 Exadata X11M 机架。有关 Exadata X11M 的更多详细信息以及以往型号的信息，请参阅相关资源。
02.Exadata Networking
Exadata 网络
注释 Oracle Exadata 数据库一体机包含用于将系统连接到您网络的设备。这些网络连接允许客户端连接到数据库服务器，并支持远程系统管理。
在单机架配置中，Oracle Exadata 数据库一体机包含以下网络组件： (1)一台管理交换机 (2)两台或更多 Exadata 数据库服务器 (3)三台或更多 Exadata 存储服务器 (4)两台 RDMA 网络结构交换机 (5)两台配电装置 (PDU)
Exadata 数据库一体机提供以下网络和接口： (1)管理网络 连接到 PDU 和管理交换机。通过管理交换机，管理网络连接到每个数据库服务器和存储服务器上的专用管理端口和 ILOM 端口，并连接到每个 RDMA 网络结构交换机。 (2)客户端网络 在物理上连接到每个数据库服务器。图中显示了一对绑定的物理连接。在绑定网络配置中，客户端网络绑定接口名称为 BONDETH0。 (3)私有网络，也称为 RDMA 网络结构，使用一对 RDMA 网络结构交换机互连所有数据库服务器和存储服务器。在每台服务器上，一个端口连接到每个交换机，从而最大化吞吐量和可用性。 数据库服务器可以选择使用未被管理网络和客户端网络使用的可用开放端口连接到其他网络。图中显示了一对用于附加网络的绑定物理连接。在绑定网络配置中，第一个附加网络绑定接口名称为 BONDETH1，第二个附加网络绑定接口名称为 BONDETH2，以此类推。
03.Connecting Multiple Exadata Racks
连接多个 Exadata 机架
注释 在需要外部 RDMA 网络结构交换机之前，您最多可以将 14 个 Exadata X11M 机架连接在一起。 该图展示了两个互连的 X11M 机架的 RDMA 网络结构架构。每个机架图示中显示了两台数据库服务器（1 和 n）和两台存储服务器（1 和 m），代表该机架中的所有数据库和存储服务器。 每个机架都有一台核心交换机和两台叶交换机。叶交换机之间的连接被移除，并替换为每个核心交换机和每个叶交换机之间的连接。如图所示，当连接两个机架时，每个核心交换机与每个叶交换机有七条连接。所有数据库和存储服务器都连接到两台叶交换机，这与在单个机架中相同。
04.Database Server Deployment Overview
数据库服务器部署概述
注释 部署 Oracle Exadata 数据库一体机时，您可以选择以下数据库服务器部署选项：
(1)虚拟机 (VM) 部署：如图所示，每个数据库服务器包含一个虚拟机管理程序，可以支持多个 VM 客户机，每个客户机拥有自己的 Linux 操作系统、Exadata 系统软件和 Oracle 软件。采用 RoCE 网络结构的当代 Exadata 数据库一体机型号使用 Oracle Linux KVM。每个数据库服务器上支持的 VM 最大数量取决于所使用的 Exadata 系统硬件和软件的组合。Exadata X11M 系统在每个数据库服务器上最多支持 50 个 VM。 (2)裸金属部署：每个数据库服务器包含 Linux 操作系统、Exadata 系统软件、Oracle 数据库和 Oracle 网格基础设施，不进行虚拟化。
无论选择哪种部署选项： (1)外部客户端通过绑定网络接口，使用客户端网络和任何附加网络连接到数据库服务器。 (2)RDMA 网络结构使用一对 RDMA 网络结构交换机互连数据库和存储服务器。在每台服务器上，一个端口连接到每个交换机。RDMA 网络结构端口使用主动绑定。 (3)默认的数据库服务器操作系统用户帐户包括 root 和 oracle。如果您选择配置角色分离，还会创建 grid 用户帐户。
05.Storage Server Types
存储服务器类型 注释 配置 Oracle Exadata 数据库一体机时，您可以选择高容量 (HC) 或极速闪存 (EF) 存储服务器。HC 存储服务器包含高性能闪存和硬盘驱动器 (HDD)。EF 存储服务器采用全闪存配置。 您还可以添加扩展 (XT) 存储服务器，用于以经济高效的方式存储必须保持在线的、访问频率较低的数据。 Exadata X11M HC 和 EF 存储服务器型号还配备了额外的内存 (DDR5 DRAM)，用于 Exadata RDMA 内存缓存 (XRMEM 缓存)，该缓存支持使用远程直接内存访问 (RDMA) 进行高性能数据访问。 注意：所有规格均针对 Exadata X11M 存储服务器。有关 Exadata X11M 的更多详细信息以及以往型号的信息，请参阅相关资源。
06.High Capacity (HC) Storage Servers
高容量 (HC) 存储服务器
注释 1.Exadata X11M 系统系列包含以下高容量 (HC) 存储服务器产品： Exadata 存储服务器 X11M HC 是卓越的高容量存储服务器，融合了极高的性能和存储容量。每个存储服务器包括以下硬件组件： (1)四个 6.8 TB 性能优化的闪存设备 (2)十二个 22 TB 硬盘驱动器 (HDD) (3)1.5 TB 系统内存（高性能 DDR5 DRAM），其中 1.25 TB 专用于 Exadata RDMA 内存缓存 (XRMEM 缓存)。XRMEM 缓存支持使用远程直接内存访问 (RDMA) 进行数据访问，以极低的延迟提供高性能。
2.Exadata 存储服务器 X11M-Z HC 为较小的应用程序和数据库启用 Exadata。每个存储服务器包括以下硬件组件： (1)两个 6.8 TB 性能优化的闪存设备 (2)六个 22 TB 硬盘驱动器 (HDD) (3)768 GB 系统内存（高性能 DDR5 DRAM），其中 512 GB 专用于 XRMEM 缓存。
注意：所有规格均针对 Exadata X11M 存储服务器。有关更多详细信息和其他型号的信息，请参阅相关资源。 每个存储服务器都运行 Oracle Exadata 系统软件，以在存储级别处理数据，并仅将所需内容传递给数据库服务器。 在 HC 存储服务器上，闪存设备主要支持 Exadata 智能闪存缓存，该缓存会自动将频繁使用的数据缓存在高性能闪存中。此外，Exadata 智能闪存日志使用一小部分闪存作为临时存储，以减少重做日志写入的延迟并提高吞吐量。 从 Exadata 系统软件 24.1 版开始，Oracle Exadata Exascale 通过将 Oracle 数据库和 GI 集群与底层 Exadata 存储服务器解耦，改变了 Exadata 存储管理。Exascale 软件服务管理跨越整个 Exadata 存储服务器机群的存储池，并为多个用户和数据库服务器集群提供服务。
07.Extreme Flash (EF) Storage Servers
极速闪存 (EF) 存储服务器
注释 Exadata 存储服务器 X11M 极速闪存 (EF) 是卓越的全闪存极 致性能 Exadata 存储服务器产品。每个 Exadata X11M EF 存储服务器包括以下硬件组件： (1)四个 6.8 TB 性能优化的闪存设备（主要用于 Exadata 智能闪存缓存） (2)四个 30.72 TB 容量优化的闪存设备（用于基础数据存储） (3)1.5 TB 系统内存（高性能 DDR5 DRAM），其中 1.25 TB 专用于 Exadata RDMA 内存缓存 (XRMEM 缓存)。XRMEM 缓存支持使用远程直接内存访问 (RDMA) 进行数据访问，以极低的延迟提供高性能。
注意：所有规格均针对 Exadata X11M 存储服务器。有关更多详细信息和其他型号的信息，请参阅相关资源。 每个存储服务器都运行 Oracle Exadata 系统软件，以在存储级别处理数据，并仅将所需内容传递给数据库服务器。 与 HC 存储服务器一样，EF 存储服务器上的 6.8 TB 性能优化闪存设备主要支持 Exadata 智能闪存缓存，该缓存会自动将频繁使用的数据缓存在高性能闪存中。同样，Exadata 智能闪存日志使用一小部分闪存作为临时存储，以减少重做日志写入的延迟并提高吞吐量。然而，与 HC 存储服务器不同的是，30.72 TB 容量优化的闪存设备提供的数据存储，其延迟远低于硬盘驱动器 (HDD)。 从 Exadata 系统软件 24.1 版开始，Oracle Exadata Exascale 通过将 Oracle 数据库和 GI 集群与底层 Exadata 存储服务器解耦，改变了 Exadata 存储管理。Exascale 软件服务管理跨越整个 Exadata 存储服务器机群的存储池，并为多个用户和数据库服务器集群提供服务。
08.Extended (XT) Storage Servers
扩展 (XT) 存储服务器
注释 Exadata 存储服务器 X11M 扩展 (XT) 是首 款与 Oracle Exadata Exascale 配合使用的 XT 存储服务器，使得众多用户和数据库集群能够共享一个大型、经济高效的在线存储池，用于存储访问频率较低的数据，并具有严格的安全性和数据隔离性。 您可以将两个或更多 XT 存储服务器添加到现有的 EF 或 HC 存储服务器，以存储必须保持在线的、访问频率较低的数据。（图中显示了两台 XT 存储服务器和三台 EF 存储服务器。） 每个 XT 存储服务器运行与 HC 和 EF 存储服务器相同的 Oracle Exadata 系统软件。就数据存储而言，XT 存储服务器不需要 Exadata 系统软件的许可证。 为了最大化存储容量，您可以将 Exadata 混合列式压缩与 XT 存储结合使用。此外，您可以选择在 XT 存储上许可 Oracle Exadata 系统软件，以利用智能存储功能，例如 Exadata 智能扫描。 为了实现现有部署的无缝扩展，您可以将 Exadata X11M XT 存储添加到具有上一代 XT 存储服务器的系统中。
每个 Exadata X11M XT 存储服务器配备： (1)1 个 AMD EPYC 32 核 CPU，其性能比上一代 XT 存储服务器中的 CPU 快高达 11%。 (2)2 个 6.8 TB 性能优化的闪存设备，使其成为首 款配备 Exadata 智能闪存缓存的 XT 存储服务器。 (3)12 个 22 TB 硬盘驱动器 (HDD)，为每个 Exadata X11M XT 服务器提供 264 TB 的原始磁盘容量。
注意： (1)所有规格均针对 Exadata X11M 存储服务器。请参阅相关资源以获取更多信息。 (2)在 Exascale 中使用 XT 存储的最低要求为： Exadata 存储服务器 X11M 扩展 (XT) 硬件 Oracle Exadata 系统软件 25.2 版
09.Exadata System Software Overview
Exadata 系统软件概述
注释 Oracle Exadata 系统软件提供数据库感知的存储服务，例如能够将 SQL 和其他数据库处理从数据库服务器卸载。数据库和存储服务器都包含 Exadata 系统软件的组件。 从 Exadata 系统软件 24.1 版开始，Oracle Exadata Exascale 通过将 Oracle 数据库和 GI 集群与底层 Exadata 存储服务器解耦，改变了 Exadata 存储管理。Exascale 软件服务管理跨越整个 Exadata 存储服务器机群的存储池，并为多个用户和数据库服务器集群提供服务。随着 Exascale 的引入，您可以选择以下存储配置选项： (1)对于新系统部署（或现有系统的重新部署），您可以选择 Exascale 而非 Oracle ASM。在这种情况下，Exascale 服务将部署在整个系统中，并且数据库服务器上不需要 ASM 实例。 (2)对于新的和现有的部署，您可以继续使用不带 Exascale 的 ASM。在这种情况下，您继续在数据库服务器上使用 ASM 实例，并且数据库和存储服务器上不需要 Exascale 服务。 (3)对于新的和现有的部署，您可以部署同时使用 Exascale 和 ASM 的配置。此选项使新客户和现有客户能够实施 Exascale，同时将选定的数据库保留在 ASM 提供的久经考验的存储管理基础设施上。
每个数据库服务器包括以下软件组件： Oracle 数据库实例，包括用于管理资源分配的 Oracle 数据库资源管理器 (DBRM) Exadata 系统软件，包括： (1)DBMCLI 命令行界面，用于管理数据库服务器上的 Exadata 系统软件 (2)管理服务器 (MS)，它与 DBMCLI 协同工作并处理来自 DBMCLI 的大部分命令 (3)重启服务器 (RS)，它监视其他服务，如果它们在允许的心跳周期内没有响应，则重新启动它们 (4)支持 Exascale 存储的客户端服务和其他程序（更多详情请参见后续幻灯片）
Oracle 网格基础设施 (GI) 每个存储服务器包含数据存储硬件和用于管理数据的 Exadata 系统软件。该软件包括以下组件： (1)存储单元控制命令行界面 (CellCLI)，用于管理存储服务器上的 Exadata 系统软件 (2)存储单元服务器 (CELLSRV)，它提供大部分存储服务器服务，包括高级 SQL 卸载功能以及 I/O 资源管理 (IORM) 功能，用于向发出 I/O 调用的各种数据库和消费者组分配 I/O 带宽 (3)管理服务器 (MS)，它与 CellCLI 协同工作并处理来自 CellCLI 的大部分命令 (4)重启服务器 (RS)，它监视其他服务，如果它们在允许的心跳周期内没有响应，则重新启动它们 (5)实现 Exascale 存储集群的存储服务和其他程序（更多详情请参见后续幻灯片） 管理员使用通过管理网络的安全网络连接来管理数据库和存储服务器。除了 CellCLI 和 DBMCLI 之外，管理员还可以使用以下命令行界面： (1)dcli，用于在一组数据库或存储服务器上运行管理命令 (2)ExaCLI，用于远程管理数据库和存储服务器 (3)exadcli，通过在一组服务器上运行 ExaCLI 命令来集中管理 Oracle Exadata 系统 (4)ESCLI，用于管理 Exascale 存储集群 注意：此幻灯片列出了主要的 Exadata 系统软件组件。有关更多信息，请参阅相关资源。
10.Exadata Database Server Software with Exascale
Exadata 数据库服务器软件与 Exascale
注释 随着 Exascale 的引入，一些新软件位于 Exadata 数据库服务器上。
从最终用户的角度来看，Oracle 数据库功能基本保持不变。然而，数据库内核在内部进行了修改，以提供对 Exascale 的无缝支持。与使用单独的 ASM 实例不同，Exascale 上的数据库在 SGA 中包含一个映射表。该表是一个相对较小的目录，使数据库能够为任何给定数据定位适当的存储服务器。数据库实例还包含两个新的后台进程（EGSB 和 EDSB），它们维护关于 Exascale 集群（也称为 Exascale 全局服务或 EGS）和 Exascale 存储池（也称为 Exascale 数据存储或 EDS）的实例级元数据。使用 Exascale 时，需要注意的是，数据库客户端将 I/O 直接发送到适当的 Exadata 存储服务器，而不是通过 EGSB 或 EDSB。 在每个 Exadata 数据库服务器上，Exadata 系统软件还包含新的软件组件，包括： (1)Exascale 命令行界面 (ESCLI) 是一个在 Exadata 数据库和存储服务器上可用的命令行管理工具。您可以使用 ESCLI 执行 Exascale 监控和管理功能。ESCLI 补充了现有的 Exadata 命令行界面（DBMCLI 和 CellCLI），但并不取代它们。 (2)Exascale 节点代理 (ESNP) 服务 维护有关 Exascale 集群当前状态的信息，并将其提供给本地 Oracle 网格基础设施和 Oracle 数据库进程。 (3)Exascale 直接卷 (EDV) 服务 将 Exascale 块存储作为原始块设备暴露在 Exadata 计算节点上。EDV 管理的存储可用作原始存储设备，或支持各种文件系统，包括 Oracle 高级集群文件系统 (ACFS)。此服务在您想要使用 EDV 设备的所有 Exadata 计算节点上都是必需的。 (4)Exascale 集群服务，也称为 Exascale 全局服务 (EGS)，为 Exascale 系统提供核心基础。为实现高可用性，EGS 在一个由五个服务实例组成的集群中运行。每个 EGS 实例通常运行在一个 Exadata 存储服务器上。但是，对于存储服务器少于五个的 Exadata 配置，EGS 实例将运行在 Exadata 数据库服务器上，以达到所需的数量。 Oracle 网格基础设施继续为 Exadata 数据库提供集群服务。但是，使用 Exascale 存储的数据库不需要 ASM 实例。
11.Exadata Storage Server Software with Exascale
Exadata 存储服务器软件与 Exascale
注释 在每个 Exadata 存储服务器上，Exadata 系统软件都包含新的 Exascale 软件组件，包括：
(1)Exascale 命令行界面 (ESCLI) 是一个在 Exadata 数据库和存储服务器上可用的命令行管理工具。您可以使用 ESCLI 执行 Exascale 监控和管理功能。ESCLI 补充了现有的 Exadata 命令行界面（CellCLI 和 DBMCLI），但并不取代它们。 (2)Exascale 集群服务，也称为 Exascale 全局服务 (EGS)，为 Exascale 系统提供核心基础。EGS 主要管理分配给 Exascale 存储池的存储。它还管理存储集群成员资格，并为存储服务器和 Exascale 客户端提供安全和身份服务。Exascale 集群服务使用 Raft 共识算法。为实现高可用性，EGS 在一个由五个服务实例组成的集群中运行。每个 EGS 实例通常运行在一个 Exadata 存储服务器上。但是，对于存储服务器少于五个的 Exadata 配置，EGS 实例将运行在 Exadata 数据库服务器上，以达到所需的数量。 (3)Exascale 控制服务，也称为 Exascale RESTful 服务 (ERS)，为 Exascale 管理操作提供了一个管理端点。所有 Exascale 管理操作，包括所有 ESCLI 命令，都通过 ERS 进行。但是，没有任何文件 I/O 操作通过 ERS。 (4)Exascale 存储池管理器，也称为 Exascale 数据服务 (EDS)，是管理文件和存储池元数据的 Exascale 软件服务的统称： (a)系统存储池管理器服务 (SYSEDS) 提供并管理 Exascale 存储池的元数据。此元数据包括存储池级别的访问控制列表 (ACL) 和属性。 (b)用户存储池管理器服务 (USREDS) 提供并管理 Exascale 存储池内文件的元数据。此元数据包括文件级别的访问控制列表 (ACL) 和属性，以及定义克隆和快照的元数据。所有文件控制操作，例如打开和关闭，都由用户存储池管理器服务处理。 ©块存储管理器服务 (BSM) 提供并管理 Exascale 块存储的元数据。所有块存储管理操作都由 BSM 处理。这些操作包括创建卷、挂载卷、创建卷快照等等。BSM 还协调块存储工作进程。 (d)块存储工作服务 (BSW) 主要处理来自块存储客户端的请求，并执行由此产生的存储服务器 I/O。BSW 还在克隆和快照创建操作中发挥作用，并负责执行卷备份和恢复操作。
实例故障检测 (IFD) 服务 是一种专用的轻量级服务，用于快速检测并响应任何存储服务器故障。IFD 自动运行在与 Exascale 集群关联的每个存储服务器上。 除了始终在五个服务实例组成的集群中运行的 EGS，以及在每个 Exascale 存储服务器上运行的 IFD 之外，其他 Exascale 服务（ERS、SYSEDS、USREDS、BSM 和 BSW）都运行多个实例，分布在可用的存储服务器上，以提供高可用性并分担工作负载。这些 Exascale 服务实例的具体放置位置取决于 Exascale 集群中存储服务器的数量。因此，在只有少数存储服务器的系统上，每个服务器将托管许多不同的服务实例。然而，在拥有许多存储服务器的系统上，每个服务器可能只托管少数几个服务实例（可能为零）。 Exascale 与核心的 Exadata 存储单元协同工作，并依赖于它们。具体来说，Exascale 需要在每个存储服务器上运行存储单元服务器 (CELLSRV)、管理服务器 (MS) 和重启服务器 (RS) 的实例。
12.Device-Level Storage Objects
设备级存储对象
注释
每个 Exadata 存储服务器都包含多个物理磁盘，这些磁盘可以是硬盘驱动器 (HDD) 或闪存设备。 每个物理磁盘在操作系统 (OS) 中都有一个逻辑表示，称为逻辑单元号 (LUN)。在所有 Exadata 存储服务器型号上，物理磁盘和 LUN 之间通常存在一对一的对应关系。但是，在配备四个 30.72 TB 容量优化闪存设备的 Exadata 极速闪存 (EF) 存储服务器上，每个容量优化的闪存设备配置了 2 个 LUN，导致每个存储服务器上有 8 个 LUN。 存储单元磁盘保留 LUN 上的空间供 Exadata 系统软件使用。一个 LUN 只能包含一个存储单元磁盘。 随着 Exascale 的引入，存储按物理方式组织在 Exascale 存储池中，每个存储池包含众多存储池磁盘。虽然一个 Exadata 存储单元磁盘可以容纳多个 Exascale 存储池磁盘（如图所示），但这通常是不必要的，因为 Exascale 提供了额外的设施，可以在众多租户之间安全地共享存储池资源。 在同时使用 Oracle ASM 的系统上，您可以继续在每个存储单元磁盘的可用空间中定义多个网格磁盘。
13.Exadata Storage Structures
Exadata 存储结构
注释 随着 Exascale 的引入，存储按物理方式组织在 Exascale 存储池中，每个存储池包含众多存储池磁盘。
Exascale 存储池是一个逻辑存储容器，它使用 Exascale 存储池提供的物理资源。默认情况下，一个存储池可以使用所有相关的存储池资源。但是，Exascale 管理员可以限制与每个存储池关联的空间量、I/O 资源（每秒 I/O 次数，或 IOPS）和缓存资源。 对于最终用户和 Oracle 数据库而言，存储池就像一个包含文件的顶 级目录。在 Exascale 上引用文件与使用 ASM 磁盘组基本相同，不同之处在于 Exascale 使用以 & 符（@）字符开头的存储池名称约定（例如 @VAULT1），而不是加号（+）字符（例如 +DATA）。 然而，Exascale 存储池比 ASM 磁盘组复杂得多。 Exascale 存储池促进了严格的数据分离，确保数据被隔离给特定用户，并与其他数据和用户分开。没有适当权限的用户无法访问存储池及其内容。例如，如果没有正确的授权，一个存储池的用户无法看到另一个存储池，即使两个存储池的数据都条带化在相同的底层存储池上（如图所示）。 此外，Exascale 本身就区分各种文件类型，并自动将数据文件和相关的恢复文件放置在不同的存储池磁盘上。这使得用户和数据库能够将所有文件维护在一个存储池内，而不是为数据文件和恢复文件使用不同的磁盘组。 在同时使用 Oracle ASM 的系统上，您可以继续定义和使用 ASM 磁盘组，它们与 Exascale 存储池并存。
参考
https://docs.oracle.com/en/engineered-systems/exadata-database-machine/ https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_overview.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_network.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_multirack.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_vmdb.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_storage_types.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_storage_hc.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_storage_ef.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_storage_xt.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_software.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_exascale_db.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_exascale_storage_server.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_data_storage.html https://docs.oracle.com/en/engineered-systems/exadata-database-machine/edbid/exadata_exascale.html
欢迎关注我的公众号《 IT小Chen》
