1. 为什么用 Docker 搭建 Hadoop 集群是更聪明的选择如果你曾经手动在三台物理机或者虚拟机上装过 Hadoop 集群你一定记得那种痛苦三台机器要配 hosts、要配 SSH 免密、要统一 JDK 版本、要同步配置文件、要格式化 HDFS、要挨个启动守护进程。中间任何一台机器的环境有差异集群就可能起不来。更别提重装系统之后一切还得从头再来一遍。用 Docker 容器来实现 Hadoop 分布式集群部署本质上解决的就是环境一致性和快速复现这两个核心问题。我把 NameNode、DataNode、ResourceManager、NodeManager 这些角色分别封装进独立的容器通过自定义网络让它们互相通信通过挂载卷让配置和数据持久化。整套集群可以在一台开发机上跑起来也可以原封不动搬到测试服务器上环境差异带来的问题被压缩到几乎为零。这篇文章适合三类人看第一类是想学大数据但手头没有多台机器的开发者第二类是需要频繁搭建和销毁测试集群的运维或测试人员第三类是想理解容器化分布式系统编排思路的技术爱好者。不管你是哪种只要跟着思路走都能在自己机器上跑起一套可用的 Hadoop 分布式集群。我下面会从整体设计思路讲起然后拆解镜像构建、网络配置、核心参数、启动流程最后把我踩过的坑和排查经验一并倒出来。内容偏实操命令和配置都可以直接抄。2. 整体架构设计与方案选型思路2.1 为什么不用现成的 Hadoop 镜像很多人第一反应是去镜像仓库拉一个 Hadoop 镜像直接用。我试过能用但不好用。原因有三个一是现成镜像的 Hadoop 版本、JDK 版本、目录结构往往和你的预期不一致改起来反而更麻烦二是很多镜像默认配置是单机模式或者伪分布式改成完全分布式要动的地方很多三是镜像体积大、层数多构建和传输都慢。所以我更推荐基于一个干净的 Linux 基础镜像自己构建。这样做的好处是每一层都是自己可控的JDK 装在哪、Hadoop 解压到哪、环境变量怎么配全部心里有数。后面要升级版本或者改配置改 Dockerfile 重新构建就行干净利落。2.2 集群角色怎么划分一个最小可用的 Hadoop 分布式集群我建议至少包含这几个角色容器名称承担角色说明namenodeNameNode SecondaryNameNode管理 HDFS 元数据datanode1DataNode NodeManager存储数据块、跑计算任务datanode2DataNode NodeManager同上构成数据冗余resourcemanagerResourceManager管理 YARN 资源调度这里我把 SecondaryNameNode 和 NameNode 放在同一个容器里是因为在测试环境下没必要为它单独开一个容器它本身只是做元数据合并资源占用不大。生产环境当然要分开但我们这套是学习和测试用途合并能省资源。DataNode 至少两个因为 HDFS 默认副本数是 3如果只有一个 DataNode副本永远达不到 3会一直报副本不足的警告。两个 DataNode 加上 NameNode 本身不算存储节点实际副本数设成 2 比较合理。这个参数后面会讲怎么改。2.3 网络方案的选择容器之间要通信有三种常见方式默认 bridge 网络、自定义 bridge 网络、host 网络。默认 bridge 网络的问题是不支持容器名直接解析你得用 IP 或者--link而--link已经不被推荐了。host 网络虽然性能好但端口会直接占用宿主机端口多个容器容易冲突而且失去了容器网络隔离的意义。我选的是自定义 bridge 网络。创建一个自定义网络之后容器之间可以直接用容器名互相访问Docker 内置的 DNS 会帮你解析。这样我在配置 Hadoop 的时候fs.defaultFS直接写hdfs://namenode:9000就行不用关心具体 IP。容器重启后 IP 变了也不影响因为名字不变。2.4 数据持久化的考虑容器一删里面的数据就没了。HDFS 上存的数据、NameNode 的元数据这些都不能丢。所以我要把关键目录挂载到宿主机上。具体来说NameNode 的dfs.namenode.name.dir和 DataNode 的dfs.datanode.data.dir都要挂出来。这样即使容器重建只要挂载目录还在集群状态就能恢复。不过要注意NameNode 和 DataNode 的元数据是配套的如果只恢复了 NameNode 而 DataNode 的 clusterID 对不上集群会起不来。这个坑后面会详细说。3. 镜像构建与基础环境准备3.1 基础镜像和 JDK 的选择Hadoop 对 JDK 版本是有要求的。Hadoop 3.x 官方推荐 JDK 8虽然 JDK 11 也能跑但有些模块会有兼容性警告。我建议直接用 JDK 8省心。基础镜像我选ubuntu:20.04或者centos:7都可以。Ubuntu 的包管理用起来顺手一些我就以 Ubuntu 为例。JDK 不要用 apt 装默认的因为版本不可控我习惯直接下载官方的 tar.gz 解压。Dockerfile 大概长这样FROM ubuntu:20.04 RUN apt-get update apt-get install -y \ openssh-server openssh-client \ vim net-tools iputils-ping \ rm -rf /var/lib/apt/lists/* ADD jdk-8uXXX-linux-x64.tar.gz /usr/local/ RUN mv /usr/local/jdk1.8.0_XXX /usr/local/jdk ADD hadoop-3.3.4.tar.gz /usr/local/ RUN mv /usr/local/hadoop-3.3.4 /usr/local/hadoop ENV JAVA_HOME/usr/local/jdk ENV HADOOP_HOME/usr/local/hadoop ENV PATH$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin这里有个细节ADD命令会自动解压 tar.gz所以不需要再写tar -zxvf。另外 SSH 服务必须装因为 Hadoop 的启动脚本依赖 SSH 来远程启动从节点进程。虽然我们是在容器里但 Hadoop 的start-dfs.sh本质上还是通过 SSH 去连各个节点执行命令。3.2 SSH 免密配置的关键点Hadoop 集群要求 NameNode 能免密 SSH 登录到所有节点包括它自己。在容器环境里这个配置要在构建镜像的时候就做好。ssh-keygen -t rsa -P -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys然后把~/.ssh目录和配置一起打包进镜像。但这里有个问题每个容器启动后 hostname 不一样SSH 登录时会有 host key 校验。解决办法是在~/.ssh/config里加上StrictHostKeyChecking no UserKnownHostsFile /dev/null这样就不会因为 host key 变化而拒绝连接了。这个配置在测试环境很方便生产环境要谨慎使用。3.3 Hadoop 核心配置文件Hadoop 的配置文件都在$HADOOP_HOME/etc/hadoop/下面。需要改的主要有这几个core-site.xmlconfiguration property namefs.defaultFS/name valuehdfs://namenode:9000/value /property property namehadoop.tmp.dir/name value/usr/local/hadoop/data/tmp/value /property /configurationfs.defaultFS指定了 HDFS 的访问地址这里直接用容器名namenode因为我们在自定义网络里。hadoop.tmp.dir是 Hadoop 的临时目录很多其他目录默认都基于它所以一定要显式指定否则默认在/tmp下容器重启就没了。hdfs-site.xmlconfiguration property namedfs.replication/name value2/value /property property namedfs.namenode.name.dir/name value/usr/local/hadoop/data/namenode/value /property property namedfs.datanode.data.dir/name value/usr/local/hadoop/data/datanode/value /property property namedfs.namenode.secondary.http-address/name valuenamenode:9868/value /property /configuration副本数设成 2因为我们只有两个 DataNode。dfs.namenode.name.dir和dfs.datanode.data.dir是要挂载出来的目录后面在docker run的时候用-v挂载。yarn-site.xmlconfiguration property nameyarn.resourcemanager.hostname/name valueresourcemanager/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.env-whitelist/name valueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value /property /configurationyarn.resourcemanager.hostname指定 ResourceManager 所在的主机名。yarn.nodemanager.aux-services是 MapReduce 的 Shuffle 服务必须配。env-whitelist这个在 Hadoop 3.x 里比较重要不配的话 NodeManager 可能找不到 JAVA_HOME。mapred-site.xmlconfiguration property namemapreduce.framework.name/name valueyarn/value /property property nameyarn.app.mapreduce.am.env/name valueHADOOP_MAPRED_HOME/usr/local/hadoop/value /property property namemapreduce.map.env/name valueHADOOP_MAPRED_HOME/usr/local/hadoop/value /property property namemapreduce.reduce.env/name valueHADOOP_MAPRED_HOME/usr/local/hadoop/value /property /configuration这几个env配置是 Hadoop 3.x 跑 MapReduce 任务时必须的否则任务会报找不到 HADOOP_MAPRED_HOME。3.4 workers 文件的配置$HADOOP_HOME/etc/hadoop/workers文件里列出所有 DataNode 的主机名datanode1 datanode2这个文件决定了start-dfs.sh会去哪些节点启动 DataNode。注意在 Hadoop 3.x 里这个文件叫workers在 2.x 里叫slaves别搞混了。4. 容器编排与集群启动实操4.1 创建自定义网络第一步先建网络docker network create hadoop-net这个网络是后面所有容器通信的基础。建好之后可以用docker network inspect hadoop-net看看里面会显示这个网络分配的网段。4.2 启动 NameNode 容器docker run -d --name namenode \ --network hadoop-net \ --hostname namenode \ -p 9870:9870 -p 9000:9000 \ -v /data/hadoop/namenode:/usr/local/hadoop/data/namenode \ hadoop-cluster:latest这里映射了两个端口9870 是 HDFS 的 Web UI 端口9000 是 HDFS 的 RPC 端口。挂载了 namenode 的数据目录到宿主机。--hostname namenode这个参数很重要它设置了容器内部的主机名Hadoop 的配置文件里用到的namenode这个名字就是靠它来解析的。4.3 启动 DataNode 容器docker run -d --name datanode1 \ --network hadoop-net \ --hostname datanode1 \ -v /data/hadoop/datanode1:/usr/local/hadoop/data/datanode \ hadoop-cluster:latest docker run -d --name datanode2 \ --network hadoop-net \ --hostname datanode2 \ -v /data/hadoop/datanode2:/usr/local/hadoop/data/datanode \ hadoop-cluster:latest两个 DataNode 的挂载目录要分开不能共用同一个宿主机目录否则数据会混乱。4.4 启动 ResourceManager 容器docker run -d --name resourcemanager \ --network hadoop-net \ --hostname resourcemanager \ -p 8088:8088 \ hadoop-cluster:latest8088 是 YARN 的 Web UI 端口。4.5 格式化与启动流程容器都起来之后进入 namenode 容器执行格式化docker exec -it namenode bash hdfs namenode -format格式化只需要执行一次。如果你重复格式化会导致 NameNode 的 clusterID 和 DataNode 的不一致集群起不来。这个坑我踩过后面会讲怎么处理。格式化完成后启动 HDFSstart-dfs.sh这个脚本会启动 NameNode、SecondaryNameNode然后 SSH 到 workers 文件里列出的节点启动 DataNode。启动完成后可以用jps检查进程docker exec -it namenode jps docker exec -it datanode1 jps docker exec -it datanode2 jpsNameNode 上应该看到 NameNode、SecondaryNameNodeDataNode 上应该看到 DataNode。然后启动 YARNstart-yarn.shResourceManager 上会启动 ResourceManagerDataNode 上会启动 NodeManager。4.6 验证集群状态打开浏览器访问http://localhost:9870能看到 HDFS 的 Web UI里面会显示两个 DataNode 在线副本数正常。访问http://localhost:8088能看到 YARN 的 Web UI显示集群资源和运行中的任务。也可以在命令行验证hdfs dfsadmin -report这个命令会列出所有 DataNode 的状态和存储容量。再跑一个简单的 MapReduce 任务测试hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 4 1000这个任务会计算圆周率能跑通说明 HDFS 和 YARN 都正常工作了。5. 常见问题与排查技巧实录5.1 NameNode 和 DataNode 的 clusterID 不一致这是最常见的问题。现象是 DataNode 启动后马上退出日志里报Incompatible clusterIDs。原因是 NameNode 格式化的时候生成了一个 clusterIDDataNode 第一次启动时也会生成自己的 clusterID。如果 DataNode 之前已经启动过它的 clusterID 就固定了。当你重新格式化 NameNode 时NameNode 的 clusterID 变了但 DataNode 的还是旧的两边对不上。解决办法有两个一是把 DataNode 的数据目录清空让它重新生成二是手动把 NameNode 的 clusterID 复制到 DataNode 的VERSION文件里。我一般用第一种简单粗暴。注意清空 DataNode 数据目录意味着该节点上的数据块全部丢失如果集群里还有其他 DataNode 有副本数据不会丢但副本数会暂时不足需要等重新复制。5.2 SSH 连接被拒绝启动脚本报ssh: connect to host datanode1 port 22: Connection refused。原因是容器里的 SSH 服务没启动。Docker 容器默认不会自动启动 SSH 服务需要在启动容器后手动启动或者在 Dockerfile 的CMD里加上启动命令。我通常的做法是在 Dockerfile 里加一个启动脚本#!/bin/bash service ssh start tail -f /dev/null这样容器启动后 SSH 服务就自动起来了tail -f /dev/null让容器保持运行不退出。5.3 NodeManager 找不到 JAVA_HOMEYARN 的 NodeManager 启动时报JAVA_HOME is not set。这个问题的根源是 NodeManager 启动时环境变量没有正确传递。解决办法是在yarn-site.xml里加上yarn.nodemanager.env-whitelist把JAVA_HOME加进去。前面配置文件里已经写了。如果还是不行可以在hadoop-env.sh里显式指定export JAVA_HOME/usr/local/jdk这个文件在$HADOOP_HOME/etc/hadoop/下所有节点都要有相同的配置。5.4 端口冲突宿主机上如果已经有服务占用了 9870、8088、9000 这些端口容器启动时会报端口绑定失败。解决办法是改宿主机的映射端口比如-p 19870:9870这样宿主机用 19870容器内部还是 9870。但要注意Hadoop 的 Web UI 里有些链接是写死容器内部端口的改了映射端口后Web UI 里的某些跳转可能会失效。测试环境下问题不大知道就行。5.5 容器重启后集群起不来容器重启后里面的进程都没了需要重新执行start-dfs.sh和start-yarn.sh。但有时候重启后 DataNode 连不上 NameNode报Connection refused。这通常是因为 NameNode 还没完全启动好DataNode 就急着去连了。解决办法是等 NameNode 启动完成后再启动 DataNode或者多试几次。也可以写一个启动脚本按顺序启动各个组件每个组件启动后 sleep 几秒再启动下一个。5.6 常见问题速查表问题现象可能原因解决办法DataNode 启动即退出clusterID 不一致清空 DataNode 数据目录重新格式化SSH 连接被拒绝SSH 服务未启动容器内执行service ssh startNodeManager 报 JAVA_HOME 未设置环境变量未传递配置 env-whitelist 或 hadoop-env.sh端口绑定失败宿主机端口被占用修改映射端口副本数一直不足DataNode 数量少于副本数减少副本数或增加 DataNodeWeb UI 打不开端口未映射或防火墙检查端口映射和防火墙规则6. 实操心得与进阶建议6.1 镜像分层与构建缓存Dockerfile 里把不常变的部分放在前面常变的部分放在后面这样构建时能充分利用缓存。比如先装 JDK 和 Hadoop再拷贝配置文件。配置文件改了只需要重新构建最后一层前面的层都走缓存构建速度会快很多。6.2 用 docker-compose 管理集群手动敲docker run命令容易出错而且容器多了之后管理起来很麻烦。建议用 docker-compose 把整个集群定义在一个 YAML 文件里一条命令就能拉起所有容器。version: 3 services: namenode: image: hadoop-cluster:latest hostname: namenode networks: - hadoop-net ports: - 9870:9870 - 9000:9000 volumes: - /data/hadoop/namenode:/usr/local/hadoop/data/namenode datanode1: image: hadoop-cluster:latest hostname: datanode1 networks: - hadoop-net volumes: - /data/hadoop/datanode1:/usr/local/hadoop/data/datanode datanode2: image: hadoop-cluster:latest hostname: datanode2 networks: - hadoop-net volumes: - /data/hadoop/datanode2:/usr/local/hadoop/data/datanode resourcemanager: image: hadoop-cluster:latest hostname: resourcemanager networks: - hadoop-net ports: - 8088:8088 networks: hadoop-net: external: true这样管理起来清爽多了docker-compose up -d一键启动docker-compose down一键销毁。6.3 资源限制与性能调优容器默认可以使用宿主机的全部资源如果不加限制多个容器可能会互相抢资源。可以在docker run时加上--memory和--cpus参数限制资源。比如给每个 DataNode 限制 2GB 内存docker run -d --name datanode1 --memory2g --cpus1 ...Hadoop 本身的 JVM 堆大小也要调。在hadoop-env.sh里可以设置export HDFS_NAMENODE_OPTS-Xmx1024m -Xms1024m export HDFS_DATANODE_OPTS-Xmx512m -Xms512m测试环境下不需要给太大内存够用就行。6.4 日志查看技巧Hadoop 的日志在$HADOOP_HOME/logs/目录下。排查问题时先看日志是最快的。docker exec -it namenode tail -f $HADOOP_HOME/logs/hadoop-root-namenode-namenode.log如果日志太多可以用grep过滤关键字docker exec -it datanode1 grep -i error\|exception $HADOOP_HOME/logs/hadoop-root-datanode-datanode1.log6.5 集群扩展要增加 DataNode只需要再启动一个容器hostname 设成新的名字然后把它加到 workers 文件里重新执行start-dfs.sh就行。NameNode 会自动发现新的 DataNode 并开始分配数据块。不过要注意新加的 DataNode 不会自动平衡数据需要用hdfs balancer命令手动触发数据平衡。6.6 关于生产环境的提醒这套方案适合开发测试和学习不建议直接搬到生产环境。生产环境的 Hadoop 集群需要考虑高可用、安全认证、监控告警、备份恢复等一系列问题。容器化只是解决了环境一致性和部署效率的问题集群的高可用和运维体系还需要额外的设计和工具支撑。如果要在生产环境用容器跑 Hadoop建议考虑基于 Kubernetes 的方案利用 K8s 的调度和自愈能力来管理集群。不过那是另一个话题了展开讲篇幅会很长。我个人在实际操作中的体会是容器化 Hadoop 集群最大的价值在于快速验证和反复重建。以前搭一套集群要半天现在几分钟就能拉起来改配置重新构建镜像也就几分钟的事。这种效率提升对于学习和测试来说是非常实在的。踩过的坑主要集中在 clusterID 不一致和 SSH 配置上把这两个问题解决了剩下的基本都是顺水推舟。
