背景 线上Hadoop集群资源严重不足，可能存在添加磁盘，添加CPU，添加节点的操作，那么在添加这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Yarn资源配置，然后使其生效。 现有环境 服务器：12台，内存64Gx12=768G，物理cpu16x12=192，磁盘12Tx12=144T 组件：Hadoop-2.7.7，Hive-2.3.4，Presto-220，Dolphinscheduler-1.3.6，Sqoop-1.4.7 分配策略 由于我们的版本是Hadoop-2.7.7，有些默认配置是固定一个值，好比可用内存8G，可用CPU核数8核，如果调优就需要我们配置的东西比较多。 官方Yarn参数配置：https://hadoop.apache.org/docs/r2.7.7/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 未来的版本(Hadoop-3.0+)其实是有自动检测硬件资源的机制，需要开启配置：yarn.nodemanager.resource.detect-hardware-capabilities，然后会自动计算资源配置，不过这个是默认关闭的，每个节点的NodeManager可用内存配置 yarn.nodemanager.resource.memory-mb 和CPU核数 yarn.nodemanager.resource.cpu-vcores 也是受此配置影响， 默认配置都是-1，则可用内存为8G，CPU核数为8核。如果开启了自动监测硬件资源，其他配置则可以忽略不用配置，简化了配置。 官方Yarn参数配置：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 还有一个重要的配置 yarn.nodemanager.vmem-pmem-ratio ，表示NodeManager上的Container物理内存不足时，可用使用虚拟内存，默认为物理内存的2.1倍。