如何设置 Lustre 文件系统并在其上运行 PostgreSQL

12345-0@lo
12345-10.10.1.2@tcp

设置 MGS/MDS/MDT 和 OSS/OST 服务器

为了设置 MGS/MDS/MDT 服务器的存储，我添加了一个专用虚拟磁盘（/dev/sdb），创建了一个分区（/dev/sdb1）并将其格式化为 ext4：

fdisk /dev/sdb
...
mkfs -t ext4 /dev/sdb1

您需要在 OSS/OST 服务器上重复相同的过程以添加实际文件存储磁盘。

如果一切顺利，就可以开始在 Lustre 服务器上挂载磁盘了。首先，我们需要通过以下命令在 MGS/MDS/MDT 服务器上挂载磁盘：

mkfs.lustre --reformat --fsname=lustrefs --mgs --mdt --index=0 /dev/sdb1
mkdir /mgsmdt_mount
mount -t lustre /dev/sdb1 /mgsmdt_mount

其次，使用以下命令在 OSS/OST 服务器上挂载磁盘：

mkfs.lustre --reformat --ost --fsname=lustrefs --mgsnode=10.10.1.1@tcp1 --index=0 /dev/sdb1
mkdir /ostoss_mount
mount -t lustre /dev/sdb1 /ostoss_mount

设置 Lustre 客户端

在 Lustre 服务器设置完成后，我们可以通过以下命令在客户端上简单地挂载 Lustre 文件系统：

mkdir /mnt/lustre
mount -t lustre 10.10.1.1@tcp0:/lustrefs /mnt/lustre

如果没有错误，您可以通过在一个客户端上创建一个文本文件并输入一些信息，然后在另一个客户端上检查来验证。

在 Lustre 文件系统上设置 PostgreSQL

由于关于如何在 CentOS 上设置 PostgreSQL 的教程很多，我将跳过这部分。假设您已经从“官方发布”安装了 PostgreSQL 或自己从源代码编译，然后从客户端 1 运行以下测试：

initdb -D /mnt/lustre/pgdata
pg_ctl -D /mnt/lustre/pgdata -l /tmp/logfile start
create table test(a int, b text);
insert into test values(generate_series(1, 1000), 'helloworld');
select count(*) from test;
pg_ctl -D /mnt/lustre/pgdata -l /tmp/logfile stop

然后从客户端 2 运行以下命令：

pg_ctl -D /mnt/lustre/pgdata -l /tmp/logfile start
select count(*) from test;
pg_ctl -D /mnt/lustre/pgdata -l /tmp/logfile stop

通过上述简单测试，您可以确认客户端 1 创建的表和插入的记录存储在远程 Lustre 文件系统上。如果客户端 1 上的 PostgreSQL 服务器停止，您可以在客户端 2 上启动 PostgreSQL 服务器并查询客户端 1 插入的所有记录。

总结

本文解释了如何在本地环境中设置并行分布式文件系统 Lustre，并使用 PostgreSQL 服务器进行验证。希望能在您评估分布式文件系统时提供帮助。