构建企业级数据湖平台（基于RockyLinux的开源数据湖架构部署完整教程）

来源：这里教程网时间：2026-03-14 21:43:57 作者：

在当今大数据时代，RockyLinux数据湖架构因其稳定性、开源性和企业级支持，成为众多组织构建数据湖平台的首选操作系统。本教程将手把手带你从零开始，在 Rocky Linux 上部署一套完整的数据湖架构，即使你是初学者也能轻松上手。

什么是数据湖？

数据湖是一种集中式存储库，允许你以任意规模存储结构化、半结构化和非结构化数据。与传统数据仓库不同，数据湖在写入时不强制定义 Schema（即“Schema-on-Read”），为后续的数据分析、机器学习等提供极大灵活性。

部署前准备

你需要以下资源：

一台安装了 Rocky Linux 9 的服务器（最小安装即可）至少 4GB 内存、2 核 CPU、50GB 硬盘空间可访问互联网（用于安装软件包） root 或具有 sudo 权限的用户

第一步：系统初始化与依赖安装

首先，更新系统并安装必要工具：

# 更新系统sudo dnf update -y# 安装常用工具sudo dnf install -y wget curl git vim java-17-openjdk-devel# 验证 Java 安装java -version

第二步：安装 Hadoop（数据湖底层存储）

Hadoop HDFS 是数据湖常用的分布式文件系统。我们使用 Apache 官方版本进行安装：

# 下载 Hadoopwget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz# 解压到 /opt 目录sudo tar -xzf hadoop-3.3.6.tar.gz -C /opt/sudo mv /opt/hadoop-3.3.6 /opt/hadoop# 设置环境变量echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrcecho 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrcsource ~/.bashrc

接着配置 Hadoop（单节点伪分布式模式）：

# 编辑 core-site.xmlvim $HADOOP_HOME/etc/hadoop/core-site.xml<!-- 添加以下内容 --><configuration>  <property>    <name>fs.defaultFS</name>    <value>hdfs://localhost:9000</value>  </property></configuration>

# 编辑 hdfs-site.xmlvim $HADOOP_HOME/etc/hadoop/hdfs-site.xml<!-- 添加以下内容 --><configuration>  <property>    <name>dfs.replication</name>    <value>1</value>  </property>  <property>    <name>dfs.namenode.name.dir</name>    <value>file:///opt/hadoop/data/namenode</value>  </property>  <property>    <name>dfs.datanode.data.dir</name>    <value>file:///opt/hadoop/data/datanode</value>  </property></configuration>

格式化 NameNode 并启动 HDFS：

# 创建数据目录mkdir -p /opt/hadoop/data/{namenode,datanode}# 格式化hdfs namenode -format# 启动 HDFSstart-dfs.sh# 验证jps  # 应看到 NameNode、DataNode、SecondaryNameNode

第三步：集成 Apache Hive（数据湖元数据管理）

Hive 提供 SQL 接口和元数据管理，是开源数据湖搭建的关键组件：

# 下载 Hivewget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz# 解压sudo tar -xzf apache-hive-3.1.3-bin.tar.gz -C /opt/sudo mv /opt/apache-hive-3.1.3-bin /opt/hive# 设置环境变量echo 'export HIVE_HOME=/opt/hive' >> ~/.bashrcecho 'export PATH=$PATH:$HIVE_HOME/bin' >> ~/.bashrcsource ~/.bashrc

配置 Hive 使用 Derby（开发环境）或 MySQL（生产环境）。这里以 Derby 为例：

# 初始化 Hive 元数据schematool -dbType derby -initSchema# 启动 Hive CLIhive

第四步：验证数据湖功能

现在你可以创建表并将数据加载到 HDFS 中：

-- 在 Hive CLI 中执行CREATE TABLE logs (id INT, message STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',';LOAD DATA LOCAL INPATH '/tmp/sample.csv' INTO TABLE logs;