在当今数据驱动的时代，搭建一个稳定、高效的大数据处理平台至关重要。本文将手把手教你如何在 RockyLinux 系统上部署一套基础的 大数据云平台，涵盖操作系统准备、Hadoop 分布式文件系统（HDFS）与 YARN 资源管理器的安装配置。即使你是 Linux 新手，也能轻松上手！
一、为什么选择 RockyLinux？
RockyLinux 是一个由社区驱动的企业级 Linux 发行版，完全兼容 Red Hat Enterprise Linux（RHEL）。它稳定、安全、长期支持，非常适合用于生产环境中的 大数据平台 部署。
二、环境准备
本教程以单节点伪分布式模式为例（适合学习和测试），你也可以扩展为多节点集群。
操作系统：RockyLinux 9.x（最小化安装） 内存：建议 ≥ 4GB 磁盘：≥ 20GB 可用空间 网络：确保主机名可解析（修改 /etc/hosts）
三、安装前配置
1. 设置主机名（以 hadoop-node1 为例）：
sudo hostnamectl set-hostname hadoop-node1
2. 修改 hosts 文件，确保 localhost 和主机名能正确解析：
echo "127.0.0.1 hadoop-node1" | sudo tee -a /etc/hosts
3. 安装必要工具：
sudo dnf install -y java-11-openjdk java-11-openjdk-devel wget tar sshpass
4. 配置无密码 SSH（Hadoop 需要）：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsassh-copy-id localhost
四、安装 Hadoop
1. 下载 Hadoop（以 3.3.6 版本为例）：
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gztar -xzf hadoop-3.3.6.tar.gz -C /opt/sudo ln -s /opt/hadoop-3.3.6 /opt/hadoop
2. 配置环境变量（编辑 ~/.bashrc）：
echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrcecho 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrcecho 'export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))' >> ~/.bashrcsource ~/.bashrc
3. 修改 Hadoop 配置文件（位于 $HADOOP_HOME/etc/hadoop/）：
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///opt/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///opt/hadoop/data/datanode</value> </property></configuration>
4. 初始化 HDFS 并启动服务：
mkdir -p /opt/hadoop/data/{namenode,datanode}hdfs namenode -formatstart-dfs.shstart-yarn.sh
5. 验证服务是否正常运行：
jps
你应该看到 NameNode、DataNode、ResourceManager、NodeManager 等进程。
五、访问 Web UI
打开浏览器，访问以下地址：
HDFS 管理界面：http://你的服务器IP:9870 YARN 资源管理界面：http://你的服务器IP:8088 六、后续扩展
完成单节点部署后，你可以：
添加更多节点组成真正的 Hadoop集群 集成 Hive、Spark、HBase 等大数据组件 使用 Ansible 或 Cloudera Manager 自动化部署 配置 Kerberos 安全认证 结语
通过本教程，你已经成功在 RockyLinux 上搭建了一个基础的 大数据云平台。这为你深入学习 Hadoop 生态系统打下了坚实基础。记住，云平台部署 的关键在于稳定性与可扩展性，RockyLinux 正是实现这一目标的理想选择。继续探索吧，数据世界的大门已经为你打开！
关键词提示：本文涉及的核心技术包括 RockyLinux、大数据平台、云平台部署 和 Hadoop集群。
