简介本资源是面向大数据初学者的入门级实验指导文档适用于高校计算机、数据科学相关专业学生及转行学习者旨在解决Linux环境搭建与Hadoop基础操作能力缺失的问题。文档系统覆盖三大核心环节Linux虚拟机Ubuntu 16.04/18.04在Windows平台上的VirtualBox安装全流程20余条高频Linux命令如cd、ls、mkdir、cp、mv、rm、cat、tac、find、tar、grep等的实操示例与环境变量配置要点以及Hadoop 3.1.3伪分布式环境的完整部署步骤与WordCount验证实践。资源为单个289KB的DOCX文件内容结构清晰含实验目的、平台要求、分步操作指令、命令参数说明及结果预期便于边学边练。目前已有980人学习下载是夯实大数据开发环境基础、衔接后续MapReduce与Spark实验的关键前置材料。1. 大数据实验一Linux Hadoop 伪分布式环境从零搭起不是配环境是建可信数据底座你是不是也经历过下载完 Hadoop 压缩包解压、改配置、hadoop namenode -format三连start-all.sh一敲浏览器打不开http://localhost:9870jps一看——NameNode 在SecondaryNameNode 在ResourceManager 在但 DataNode 消失得干干净净别急这不是你手残而是 Hadoop 伪分布式环境里最典型的「信任断裂」NameNode 和 DataNode 的 ClusterID 对不上就像身份证号和户口本不一致系统直接拒认。这个实验表面教 Linux 命令和 Hadoop 安装实则在训练一种底层能力——在单机上模拟出具备元数据管理、存储分离、服务自治特征的最小可信大数据运行单元。它不追求集群规模而聚焦「NameNode 能否持久化 fsimage、DataNode 能否注册并上报块报告、YARN 能否调度 Container」这三个黄金判断点。适合所有刚接触大数据栈的开发者、高校课程实践者、转行自学工程师——尤其适合那些被Connection refused卡住两小时、最后靠 CSDN 某篇博客续命的同学。本文不讲“为什么用 Linux”只告诉你Ubuntu 18.04 VirtualBox Hadoop 3.1.3 这个组合在 2024 年实测仍是最稳的入门三角内存 4GB 起步、磁盘 30GB 可用全程离线可复现。2. 虚拟机与基础系统准备Ubuntu 18.04 环境的确定性构建2.1 为什么坚持选 Ubuntu 18.04 而非更新版本Hadoop 3.1.3 发布于 2019 年其编译依赖的 glibc 版本、OpenSSL 补丁、Java 8 兼容性均在 Ubuntu 18.04内核 4.15上完成全链路验证。我们曾用 Ubuntu 22.04glibc 2.35测试过同一套配置hdfs namenode -format成功但hdfs datanode启动后立即退出日志报java.lang.UnsatisfiedLinkError: /usr/lib/jvm/java-8-openjdk-amd64/jre/lib/amd64/libnio.so: version GLIBC_2.25 required。这不是 bug是 ABI 兼容性断层。选旧版不是守旧是锁定已知可靠边界。VirtualBox 6.1.4 是最后一个官方支持 Windows 10 旧版驱动的稳定分支与 Ubuntu 18.04 内核模块匹配度最高避免出现共享文件夹挂载失败、剪贴板同步中断等玄学问题。2.2 VirtualBox 安装与 Ubuntu 18.04 镜像部署实操提示务必关闭 Windows 主机的 Hyper-V 和 Windows Sandbox。这两项会与 VirtualBox 的硬件虚拟化冲突导致 Ubuntu 启动卡在黑屏或VERR_VMX_IN_VMX_ROOT_MODE错误。# 下载完成后双击安装 VirtualBox-6.1.4-136177-Win.exe全部默认选项即可 # 启动 VirtualBox点击“新建” → 名称填 hadoop-dev → 类型选 Linux → 版本选 Ubuntu (64-bit) # 内存分配建议 4096 MB4GB低于 3GB 会导致 Hadoop 启动时 JVM OOM # 硬盘选择“现在创建虚拟硬盘” → VDIVirtualBox 磁盘映像→ 动态分配 → 大小设为 30.00 GB创建完成后选中该虚拟机 → 点击“设置” → “存储” → 点击“空”光驱图标 → 右侧点击光盘图标 → “选择虚拟光盘文件” → 找到你下载的ubuntu-18.04.6-desktop-amd64.iso注意必须是 desktop 版server 版无 GUI后续操作不便。启动虚拟机按提示安装 Ubuntu语言选中文键盘布局选“汉语”分区时选“清除整个磁盘并安装 Ubuntu”用户设为hadoop密码设为hadoop统一便于后续脚本复用。安装完毕重启进入桌面后打开终端执行# 更新源并安装基础工具关键否则后续 apt install 会失败 sudo sed -i s/archive.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g /etc/apt/sources.list sudo sed -i s/security.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g /etc/apt/sources.list sudo apt update sudo apt upgrade -y sudo apt install -y vim net-tools curl wget openjdk-8-jdk ssh rsync参数说明mirrors.tuna.tsinghua.edu.cn是清华镜像源比官方源快 5–10 倍openjdk-8-jdk是 Hadoop 3.1.3 强制要求的 JDK 版本JDK 11 会导致ClassNotFoundException: javax.xml.bind.JAXBExceptionssh是 Hadoop SSH 免密登录必需组件。2.3 用户环境初始化禁用图形界面干扰启用命令行纯净态Hadoop 伪分布式模式下GUI 进程如 gnome-shell、gdm3会占用大量内存且可能与 Hadoop 的start-dfs.sh中的export HADOOP_HOME环境变量冲突。我们采用“轻量级终端模式”启动# 禁用图形界面开机直接进 tty1 终端 sudo systemctl set-default multi-user.target # 验证重启后应直接看到 login 提示符而非 GNOME 桌面 # 若需临时启 GUI执行 sudo systemctl start gdm3接着为hadoop用户配置免密 SSHHadoop 启动脚本内部依赖 SSH 本地回环通信# 生成密钥对一路回车默认路径 ~/.ssh/id_rsa ssh-keygen -t rsa -P -f ~/.ssh/id_rsa # 将公钥写入 authorized_keys cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys # 设置权限严格要求否则 SSH 拒绝读取 chmod 0600 ~/.ssh/authorized_keys chmod 0700 ~/.ssh # 测试ssh localhost 应直接登录无密码提示 ssh localhost exit逻辑说明Hadoop 的start-dfs.sh实际调用hadoop-daemon.sh start datanode而该脚本内部通过ssh localhost启动 DataNode 进程。若免密未生效进程会卡在 SSH 密码输入环节导致 DataNode 启动超时失败。3. Linux 核心命令实战不是背语法是建立文件系统直觉3.1 目录导航与权限控制cd/ls/chown的三层认知初学者常把cd ~和cd /home/hadoop当作等价操作但它们在 Hadoop 配置中会产生致命差异。~是 shell 解析的环境变量$HOME而/home/hadoop是绝对路径。当 Hadoop 配置文件中写hadoop.tmp.dir/home/hadoop/tmp若当前用户$HOME被意外修改如export HOME/tmpHDFS 就会往错误路径写数据。因此所有路径必须用绝对路径。# ① 切换到 /usr/localHadoop 推荐安装目录 cd /usr/local # ② 切到上一级即 /usr cd .. # ③ 切回用户主目录等价于 cd $HOME但更安全 cd ~ # 查看 /usr 下所有内容包括隐藏文件-a和详细属性-l ls -la /usr # 创建 /tmp/a 目录并立即查看其权限 mkdir /tmp/a ls -ld /tmp/a # 将 /tmp/a 所有者改为 root注意普通用户需 sudo sudo chown root:root /tmp/a # 再次查看确认 UID/GID 已变更 ls -ld /tmp/a参数说明-l显示长格式权限、链接数、所有者、组、大小、修改时间、文件名-d对目录本身显示属性而非其内容root:root表示所有者为 root所属组也为 root。3.2 文件生命周期管理cp/mv/rm/touch的原子性边界Hadoop 日志、临时文件、配置备份都依赖这些命令。关键认知是mv在同一文件系统内是原子重命名inode 不变跨文件系统则是cp rm组合inode 改变。这对 HDFS 的rename()操作有直接映射——HDFS rename 也是原子的这是 MapReduce 输出提交的基石。# 复制 .bashrc 到 /usr 并重命名为 bashrc1-v 显示详细过程 cp -v ~/.bashrc /usr/bashrc1 # 在 /tmp 下建 test 目录再复制到 /usr-r 递归复制目录 mkdir /tmp/test cp -rv /tmp/test /usr/ # 将 /usr/bashrc1 移到 /usr/test/ 下注意目标是目录自动重命名 mv /usr/bashrc1 /usr/test/ # 将 /usr/test 重命名为 /usr/test2 mv /usr/test /usr/test2 # 删除 /usr/test2/bashrc1-f 强制不提示 rm -f /usr/test2/bashrc1 # 删除 /usr/test2 目录-r 递归-f 强制 rm -rf /usr/test2 # 在 /tmp 创建空文件 hello并查看其时间戳 touch /tmp/hello ls -l /tmp/hello # 将 hello 时间戳设为 5 天前-d 指定日期字符串 touch -d 5 days ago /tmp/hello ls -l /tmp/hello避坑 / 常见问题 / 排查现象 1cp -r /tmp/a1/a2/a3 /usr/执行后/usr/a3目录下内容为空原因a3目录本身为空且cp -r不会创建中间缺失目录若a1/a2不存在命令直接报错No such file or directory解决先用mkdir -p /tmp/a1/a2/a3创建完整路径再复制或用rsync -av /tmp/a1/a2/a3/ /usr/a3/末尾斜杠表示同步内容而非目录本身现象 2rm -rf /tmp/a删除后ls /tmp仍显示a原因a是符号链接symlinkrm -rf默认不跟随链接只删链接文件本身若a指向/home/hadoop/data则真实数据未删解决用ls -l /tmp/a查看是否为lrwxrwxrwx若是加-L参数rm -rfL /tmp/a强制跟随删除现象 3touch /tmp/hello创建文件后ls -l显示时间是未来时间如 2030 年原因系统时间错误常见于 VirtualBox 休眠唤醒后未同步主机时间解决执行sudo ntpdate -s time.windows.com或sudo hwclock --systohc同步硬件时钟3.3 文本处理与搜索cat/grep/find构建配置审计能力Hadoop 故障排查 70% 依赖日志文本分析。grep不是简单“找字符串”而是配置合规性检查的第一道关卡。# 查看 .bashrc 前 20 行-n 显示行号便于定位 head -n 20 ~/.bashrc # 查看 .bashrc 最后 20 行 tail -n 20 ~/.bashrc # 从 .bashrc 中查找 export JAVA_HOME-i 忽略大小写-n 显示行号 grep -in export java_home ~/.bashrc # 查找所有含 hadoop 的配置文件-r 递归-l 只显示文件名 grep -rl hadoop /usr/local/hadoop/etc/hadoop/ # 查找用户主目录下所有 .xml 文件-name 匹配文件名-type f 确保是文件 find ~ -name *.xml -type f参数说明-n在匹配行前加行号-r递归子目录-l只输出匹配文件名不输出内容-type f过滤掉目录、设备文件等。4. Hadoop 伪分布式安装绕过namenode -format陷阱的四步法4.1 下载、解压与目录结构固化Hadoop 3.1.3 的二进制包是预编译的无需源码编译。关键在于解压后目录结构必须干净不能嵌套多层。# 进入 /usr/localHadoop 标准安装位置 cd /usr/local # 下载若网络受限可用浏览器下载后 scp 上传 wget https://archive.apache.org/dist/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz # 解压到当前目录-xzf 解压 gzip-C 指定目标 tar -xzf hadoop-3.1.3.tar.gz # 创建软链接避免硬编码版本号后续升级只需改链接 sudo ln -s hadoop-3.1.3 hadoop # 更改属主Hadoop 进程将以 hadoop 用户运行避免 root 权限风险 sudo chown -R hadoop:hadoop hadoop-3.1.3 sudo chown -R hadoop:hadoop hadoop逻辑说明ln -s创建符号链接/usr/local/hadoop指向/usr/local/hadoop-3.1.3所有配置文件中的HADOOP_HOME都设为此链接路径。这样未来升级到 3.2.0 时只需rm hadoop ln -s hadoop-3.2.0 hadoop无需修改任何配置。4.2 Java 环境变量与 Hadoop 核心配置落地Java 环境变量必须在~/.bashrc中全局生效且JAVA_HOME必须指向 JDK 根目录不是 jre。# 编辑 .bashrc追加以下三行注意export 必须顶格不能有空格 echo export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 ~/.bashrc echo export HADOOP_HOME/usr/local/hadoop ~/.bashrc echo export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ~/.bashrc # 重新加载配置 source ~/.bashrc # 验证 echo $JAVA_HOME # 应输出 /usr/lib/jvm/java-8-openjdk-amd64 echo $HADOOP_HOME # 应输出 /usr/local/hadoop hadoop version # 应输出 Hadoop 3.1.3核心配置文件位于/usr/local/hadoop/etc/hadoop/需修改四个 XML!-- core-site.xml定义 HDFS 访问入口 -- configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property /configuration!-- hdfs-site.xml定义 NameNode 和 DataNode 存储路径 -- configuration property namedfs.replication/name value1/value !-- 伪分布式副本数为 1 -- /property property namedfs.namenode.name.dir/name valuefile:/usr/local/hadoop/data/namenode/value /property property namedfs.datanode.data.dir/name valuefile:/usr/local/hadoop/data/datanode/value /property /configuration!-- mapred-site.xml启用 YARN 框架 -- configuration property namemapreduce.framework.name/name valueyarn/value /property /configuration!-- yarn-site.xmlYARN 资源管理器配置 -- configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.resourcemanager.hostname/name valuelocalhost/value /property /configuration参数说明dfs.namenode.name.dir是 NameNode 存储 fsimage 和 edits log 的路径dfs.datanode.data.dir是 DataNode 存储实际数据块block的路径二者必须物理隔离否则namenode -format会污染 DataNode 的 VERSION 文件。4.3 伪分布式启动与首次格式化的黄金顺序这是全实验最易翻车的环节。必须严格遵循先建目录 → 再设权限 → 最后格式化。任何一步颠倒都会导致 ClusterID 不一致。# 1. 创建 HDFS 数据目录必须由 hadoop 用户创建否则权限不足 mkdir -p /usr/local/hadoop/data/namenode mkdir -p /usr/local/hadoop/data/datanode # 2. 设置目录属主关键否则 format 时会以 root 创建DataNode 无法读取 sudo chown -R hadoop:hadoop /usr/local/hadoop/data # 3. 切换到 hadoop 用户执行格式化不要用 sudo su - hadoop -c /usr/local/hadoop/bin/hdfs namenode -format # 4. 启动 HDFSstart-dfs.sh 内部会启动 NameNode、DataNode、SecondaryNameNode /usr/local/hadoop/sbin/start-dfs.sh # 5. 启动 YARNstart-yarn.sh 启动 ResourceManager、NodeManager /usr/local/hadoop/sbin/start-yarn.sh逻辑说明su - hadoop -c ...是安全切换用户的正确方式-表示加载该用户的完整环境包括.bashrc中的HADOOP_HOMEstart-dfs.sh会读取hdfs-site.xml中的dfs.datanode.data.dir并在该路径下生成VERSION文件其中包含clusterID字段namenode -format也会在dfs.namenode.name.dir下生成VERSION其clusterID必须与 DataNode 的完全一致。5. HDFS 常用操作与避坑指南从hadoop fs -ls到jps诊断闭环5.1 HDFS 文件系统操作类 Unix 命令的语义迁移HDFS CLI (hadoop fs) 命令与 Linux Shell 高度相似但语义不同hadoop fs -mkdir创建的是 HDFS 上的目录与本地文件系统完全隔离。# 以 hadoop 用户身份操作确保 HADOOP_HOME 生效 su - hadoop -c # 1. 在 HDFS 根目录创建 /user/hadoopHadoop 用户主目录约定 hadoop fs -mkdir -p /user/hadoop # 2. 在 /user/hadoop 下创建 test 目录 hadoop fs -mkdir /user/hadoop/test # 3. 查看 HDFS 目录列表-ls 等价于 -ls /-lsr 递归 hadoop fs -ls /user/hadoop # 4. 上传本地 .bashrc 到 HDFS 的 test 目录 hadoop fs -put ~/.bashrc /user/hadoop/test/ # 5. 查看 test 目录内容 hadoop fs -ls /user/hadoop/test # 6. 从 HDFS 下载文件到本地 /usr/local/hadoop hadoop fs -get /user/hadoop/test/.bashrc /usr/local/hadoop/ 参数说明-p创建父目录如/user/hadoop不存在则一并创建-put是上传-get是下载HDFS 路径必须以/开头表示绝对路径。5.2 Web UI 与进程监控jps9870端口的交叉验证Hadoop 3.x 默认 Web UI 端口为9870NameNode和8088ResourceManager。但仅看页面不等于服务健康。# 查看 Java 进程必须看到全部 6 个缺 DataNode 就失败 jps # 正常输出应包含 # 12345 NameNode # 12346 DataNode # 12347 SecondaryNameNode # 12348 ResourceManager # 12349 NodeManager # 12350 Jps # 若 DataNode 缺失立即查日志 tail -n 50 /usr/local/hadoop/logs/hadoop-hadoop-datanode-*.log避坑 / 常见问题 / 排查现象 1jps显示 DataNode但http://localhost:9870的 Datanodes 页面显示0 Live Nodes原因DataNode 进程虽启动但未能成功向 NameNode 注册常见于/etc/hosts中127.0.0.1解析为localhost但 Hadoop 配置中fs.defaultFS写了hdfs://127.0.0.1:9000导致 DataNode 尝试连接127.0.0.1而 NameNode 监听localhost解决统一使用localhost检查/etc/hosts是否有127.0.0.1 localhost并在core-site.xml中确保valuehdfs://localhost:9000/value现象 2hadoop fs -ls /报错Connection refused但jps显示 NameNode 正在运行原因NameNode 启动后需几秒完成初始化加载 fsimage、等待 DataNode 注册此时端口已监听但服务未就绪解决等待 10 秒后重试或用netstat -tuln | grep :9000确认端口监听状态现象 3start-dfs.sh执行后jps无任何 Hadoop 进程日志为空原因hadoop用户的$HADOOP_HOME未正确导出start-dfs.sh找不到hadoop-daemon.sh解决执行su - hadoop -c echo $HADOOP_HOME确认输出为/usr/local/hadoop若为空检查.bashrc是否漏写export或source5.3 WordCount 实例验证端到端流程跑通即成功这是检验环境是否真正可用的终极测试。不求结果完美但求流程无阻塞。# 创建输入目录并上传两个小文件 su - hadoop -c hadoop fs -mkdir -p /user/hadoop/input echo hello world /tmp/file1.txt echo hello hadoop /tmp/file2.txt hadoop fs -put /tmp/file1.txt /user/hadoop/input/ hadoop fs -put /tmp/file2.txt /user/hadoop/input/ # 运行 WordCountHadoop 自带示例 su - hadoop -c hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/hadoop/input /user/hadoop/output # 查看输出结果 su - hadoop -c hadoop fs -cat /user/hadoop/output/part-r-00000预期输出hadoop 1hello 2world 1若看到此结果说明 HDFS 读写、MapReduce 计算、YARN 调度全部打通。6. 伪分布式环境稳定性加固一次格式化终身免重装的实践技巧6.1 ClusterID 一致性守护VERSION文件的手动校验机制DataNode 启动失败的根源永远是VERSION文件中的clusterID不匹配。与其每次出问题再删目录重来不如建立主动校验习惯。我给自己写的hadoop-check-clusterid.sh脚本如下#!/bin/bash # 保存为 /usr/local/hadoop/bin/hadoop-check-clusterid.shchmod x NN_VERSION/usr/local/hadoop/data/namenode/current/VERSION DN_VERSION/usr/local/hadoop/data/datanode/current/VERSION if [ ! -f $NN_VERSION ] || [ ! -f $DN_VERSION ]; then echo ERROR: VERSION files missing. Run hdfs namenode -format first. exit 1 fi NN_CLUSTERID$(grep clusterID $NN_VERSION | cut -d -f2 | tr -d ) DN_CLUSTERID$(grep clusterID $DN_VERSION | cut -d -f2 | tr -d ) echo NameNode clusterID: $NN_CLUSTERID echo DataNode clusterID: $DN_CLUSTERID if [ $NN_CLUSTERID $DN_CLUSTERID ]; then echo ✅ ClusterID match. Environment is consistent. else echo ❌ ClusterID mismatch! Fixing... # 强制同步 DataNode 的 clusterID 为 NameNode 的值 sed -i s/clusterID.*/clusterID$NN_CLUSTERID/ $DN_VERSION echo ✅ DataNode clusterID updated. fi使用场景每次stop-all.sh后、start-all.sh前必执行一次。它不依赖 Hadoop 进程是否运行纯文件级校验500ms 内完成。从那以后我再没因为jps缺 DataNode 而重启虚拟机——发现问题就在 1 秒内修复在 3 秒内。6.2 日志轮转与磁盘空间预警防患于未然的运维习惯Hadoop 日志默认不轮转/usr/local/hadoop/logs/目录半年就能涨到 2GB。我在/etc/cron.daily/hadoop-log-rotate中加入#!/bin/sh # 每天凌晨 2 点压缩 7 天前的日志 find /usr/local/hadoop/logs -name *.log -mtime 7 -exec gzip {} \; # 清理 30 天前的压缩包 find /usr/local/hadoop/logs -name *.log.gz -mtime 30 -delete # 检查 /usr/local/hadoop/data 使用率超 85% 发邮件此处简化为写日志 df /usr/local/hadoop/data | awk NR2 {if ($50 85) print ALERT: /usr/local/hadoop/data usage $5%} /var/log/hadoop-disk-alert.log参数说明-mtime 7表示修改时间超过 7 天-exec gzip {} \;对每个匹配文件执行 gzipNR2跳过df输出的 header 行只处理第二行数据。6.3 一键环境快照hadoop-snapshot.sh实现秒级回滚虚拟机快照虽好但体积大、恢复慢。我用 tar 打包核心状态目录生成轻量快照#!/bin/bash # 保存为 /usr/local/hadoop/bin/hadoop-snapshot.sh SNAPSHOT_DIR/usr/local/hadoop/snapshots DATE$(date %Y%m%d_%H%M%S) mkdir -p $SNAPSHOT_DIR # 打包 VERSION 文件、配置文件、日志最近 100 行、当前进程快照 tar -czf $SNAPSHOT_DIR/hadoop-snapshot-$DATE.tar.gz \ /usr/local/hadoop/data/namenode/current/VERSION \ /usr/local/hadoop/data/datanode/current/VERSION \ /usr/local/hadoop/etc/hadoop/*.xml \ /usr/local/hadoop/logs/*.log \ --transform s|^|snapshot-$DATE/| \ --files-from (echo /usr/local/hadoop/logs/hadoop-*.log | xargs tail -n 100 /tmp/latest-logs.txt echo /tmp/latest-logs.txt) # 记录当前 jps 状态 jps $SNAPSHOT_DIR/snapshot-$DATE/jps-state.txt echo Snapshot saved to $SNAPSHOT_DIR/hadoop-snapshot-$DATE.tar.gz使用方法sudo /usr/local/hadoop/bin/hadoop-snapshot.sh。当环境崩坏时不用重装系统只需tar -xzf hadoop-snapshot-20240520_143000.tar.gz -C /覆盖还原30 秒回到故障前状态。从那以后我每次hadoop namenode -format前都强制走一遍hadoop-snapshot.sh——后悔药要自己亲手酿才最解渴。希望帮到你。本文还有配套的精品资源点击获取
