RockyLinux HDFS文件系统配置(手把手教你搭建Hadoop分布式文件系统)

来源:这里教程网 时间:2026-03-25 12:32:33 作者:

在当今的大数据时代,Hadoop分布式文件系统(HDFS)作为存储海量数据的核心组件,被广泛应用于各类企业级数据平台。而RockyLinux作为一款稳定、安全且免费的企业级Linux发行版,是部署HDFS的理想操作系统。本文将为初学者提供一份详尽的RockyLinux HDFS配置教程,帮助你从零开始搭建一个单节点HDFS环境。

一、准备工作

在开始之前,请确保你已满足以下条件:

一台运行 RockyLinux 8 或 9 的虚拟机或物理服务器 至少 4GB 内存(推荐 8GB) Java Development Kit (JDK) 已安装(Hadoop 依赖 Java 环境) 网络连接正常,可访问互联网

二、安装Java环境

Hadoop 基于 Java 开发,因此首先需要安装 OpenJDK:

sudo dnf install java-11-openjdk-devel -yjava -version

执行后应看到类似

openjdk version "11.0.x"
的输出,表示安装成功。

三、创建Hadoop用户(可选但推荐)

为安全起见,建议使用专用用户运行 Hadoop 服务:

sudo useradd -m hadoopsudo passwd hadoopsudo usermod -aG wheel hadoop

然后切换到 hadoop 用户:

su - hadoop

四、下载并解压Hadoop

进入 hadoop 用户主目录,下载 Hadoop(以 3.3.6 版本为例):

cd ~wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gztar -xzvf hadoop-3.3.6.tar.gzmv hadoop-3.3.6 hadoop

五、配置环境变量

编辑

~/.bashrc
文件,添加 Hadoop 和 Java 路径:

echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk' >> ~/.bashrcecho 'export HADOOP_HOME=$HOME/hadoop' >> ~/.bashrcecho 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrcsource ~/.bashrc

六、配置HDFS核心文件

进入 Hadoop 配置目录:

cd ~/hadoop/etc/hadoop

1. 编辑

core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>

2. 编辑

hdfs-site.xml
(设置副本数为1,适合单机):

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///home/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///home/hadoop/hadoop_data/hdfs/datanode</value> </property></configuration>

七、格式化NameNode并启动HDFS

首先创建数据目录:

mkdir -p ~/hadoop_data/hdfs/namenodemkdir -p ~/hadoop_data/hdfs/datanode

然后格式化 NameNode:

hdfs namenode -format

最后启动 HDFS 服务:

start-dfs.sh

验证是否启动成功:

jps

你应该看到

NameNode
DataNode
SecondaryNameNode
进程。

八、测试HDFS功能

创建一个测试目录并上传文件:

hdfs dfs -mkdir /testhdfs dfs -put ~/.bashrc /test/hdfs dfs -ls /test

如果看到文件列表,说明 HDFS安装教程 成功完成!

九、总结

通过本教程,你已在 RockyLinux 上成功配置了 Hadoop分布式文件系统(HDFS)。这套环境适用于学习、开发和小型测试场景。若需部署生产级集群,还需配置多节点、高可用(HA)、YARN资源管理等高级功能。

掌握 RockyLinux HDFS配置 是构建大数据平台的第一步,希望这篇 HDFS安装教程 能为你打下坚实基础!

相关推荐

热文推荐