1. Hadoop伪分布式集群的本质与价值伪分布式模式是Hadoop初学者最实用的实验环境。与单机模式不同它会在本地机器上完整启动HDFS和YARN的所有核心组件NameNode、DataNode、ResourceManager等每个组件都作为独立进程运行。这种模式最显著的特点是使用分布式文件系统HDFS进行存储但所有进程都运行在单台机器上。为什么说伪分布式模式特别适合学习首先它完整保留了完全分布式集群的所有功能特性包括HDFS文件分块存储、MapReduce任务调度、YARN资源管理等。其次它避免了多台物理机带来的网络配置复杂性让学习者可以专注于Hadoop本身的机制理解。我在指导新人时发现直接在完全分布式环境上手的新人80%的时间都消耗在网络和权限问题上而伪分布式模式能让他们快速看到Hadoop的核心工作机制。伪分布式与完全分布式的关键差异在于进程分布伪分布式所有进程运行在单机完全分布式进程分布在多台服务器硬件要求伪分布式只需1台配置较好的PC或虚拟机完全分布式需要多台服务器网络配置伪分布式无需复杂网络配置完全分布式需要SSH免密登录等设置适用场景伪分布式适合开发测试完全分布式用于生产环境2. 环境准备与系统配置2.1 基础环境要求推荐使用Ubuntu 18.04 LTS或CentOS 7作为操作系统这两个版本对Hadoop的兼容性最好。我曾在Ubuntu 20.04上遇到GLIBC版本冲突问题需要额外处理。硬件配置建议内存至少4GB8GB更佳磁盘50GB可用空间CPU双核以上特别注意权限问题建议为Hadoop创建专用用户如hadoopuser避免直接使用root。执行以下命令创建用户并设置sudo权限useradd -m hadoopuser -s /bin/bash passwd hadoopuser usermod -aG sudo hadoopuser2.2 JDK安装细节Hadoop 2.x系列需要JDK 1.8注意不是JRE。Oracle JDK和OpenJDK都可以但生产环境建议用Oracle JDK。安装步骤下载JDK 1.8 tar包如jdk-8u341-linux-x64.tar.gz解压到/opt目录sudo tar -zxvf jdk-8u341-linux-x64.tar.gz -C /opt创建软链接便于版本管理sudo ln -snf /opt/jdk1.8.0_341 /opt/jdk环境变量配置/etc/profile末尾追加export JAVA_HOME/opt/jdk export PATH$PATH:$JAVA_HOME/bin使配置生效并验证source /etc/profile java -version # 应显示1.8.x版本关键提示如果遇到java: command not found检查PATH是否包含$JAVA_HOME/bin。我遇到过多次环境变量未生效的情况可以通过echo $PATH确认。3. Hadoop安装与核心配置3.1 Hadoop软件部署下载Hadoop 2.8.1二进制包其他2.x版本配置类似执行sudo tar -zxvf hadoop-2.8.1.tar.gz -C /opt sudo ln -snf /opt/hadoop-2.8.1 /opt/hadoop环境变量配置/etc/profile追加export HADOOP_HOME/opt/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop3.2 关键配置文件详解3.2.1 hadoop-env.sh必须设置JAVA_HOME绝对路径约25行处修改export JAVA_HOME/opt/jdk # 替换原来的${JAVA_HOME}3.2.2 core-site.xml这是Hadoop的核心配置文件定义全局参数configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property /configurationfs.defaultFS定义HDFS的默认访问地址和端口hadoop.tmp.dir指定临时目录许多组件依赖此路径3.2.3 hdfs-site.xmlHDFS专用配置伪分布式需要指定副本数为1configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name valuefile:///data/hadoop/hdfs/nn/value /property property namedfs.datanode.data.dir/name valuefile:///data/hadoop/hdfs/dn/value /property /configuration3.2.4 mapred-site.xml从模板文件生成并配置cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template \ $HADOOP_HOME/etc/hadoop/mapred-site.xml内容配置为使用YARN框架configuration property namemapreduce.framework.name/name valueyarn/value /property /configuration3.2.5 yarn-site.xmlYARN资源配置configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.resourcemanager.hostname/name valuelocalhost/value /property /configuration3.3 目录创建与权限设置执行以下命令创建所需目录sudo mkdir -p /data/hadoop/{hdfs/{nn,dn,snn},yarn/nm,tmp} sudo chown -R hadoopuser:hadoopuser /data/hadoop常见坑如果遇到权限拒绝错误检查两点1) /data目录权限 2) SELinux状态CentOS需要临时禁用或配置策略4. 集群初始化与启动4.1 HDFS格式化首次启动前必须格式化NameNodehdfs namenode -format成功时会看到Storage directory /data/hadoop/hdfs/nn has been successfully formatted提示。注意格式化操作会清除所有HDFS数据生产环境慎用4.2 启动集群组件4.2.1 启动HDFSstart-dfs.sh # 启动NameNode、DataNode和SecondaryNameNode4.2.2 启动YARNstart-yarn.sh # 启动ResourceManager和NodeManager4.2.3 启动历史服务器mr-jobhistory-daemon.sh start historyserver验证进程是否正常jps应看到至少以下进程NameNodeDataNodeResourceManagerNodeManagerJps4.3 Web UI访问HDFS管理界面http://localhost:50070 YARN资源管理http://localhost:8088如果无法访问检查防火墙设置sudo ufw allow 50070/tcp sudo ufw allow 8088/tcp5. 验证与排错指南5.1 基础功能验证5.1.1 HDFS操作测试hdfs dfs -mkdir -p /user/hadoopuser hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /user/hadoopuser/input hdfs dfs -ls /user/hadoopuser/input5.1.2 MapReduce作业测试yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar \ wordcount /user/hadoopuser/input /user/hadoopuser/output5.2 常见问题排查问题1DataNode未启动检查日志$HADOOP_HOME/logs/hadoop-hadoopuser-datanode-*.log常见原因1) 多次格式化导致clusterID不一致 2) 端口冲突问题2YARN任务失败查看任务日志yarn logs -applicationId 应用ID可能原因1) 内存不足 2) 临时目录权限问题问题3Web UI无法访问检查进程是否运行jps验证端口监听netstat -tulnp | grep java5.3 性能优化建议虽然伪分布式主要用于学习但适当优化可以提升实验效率调整JVM堆内存hadoop-env.shexport HADOOP_HEAPSIZE1024 # 单位MB增加MapReduce任务并行度!-- mapred-site.xml -- property namemapreduce.task.io.sort.mb/name value256/value /property关闭不必要的服务如SecondaryNameNode节省资源
