简介华为云大数据实验报告完整覆盖云主机搭建Hadoop、云服务承载数据任务、BigData Pro一站式方案部署以及大数据交互式查询四部分面向正在学习华为云大数据、需要完成课程实验或准备实验报告的高校学生与云平台运维入门者也适合备考华为云大数据认证的读者。压缩包仅包含1个docx格式文档大小4.36MB目录围绕四个实验展开包含实验背景、操作过程与结果验证便于按章节查阅。已有2448人学习下载适合作为实验参考。文档详细记录了弹性云服务器与OBS对象存储的配置、访问密钥设置、Hadoop集群多节点搭建、SSH免密通信测试、Spark环境联动以及SQL交互式查询等关键环节还保留了节点配置与命令输出等过程信息可直接对照复现也能帮助梳理实验思路、节省报告撰写时间。1. 为什么是华为云大数据实验从四台ECS到一套可验收的集群方案某高校的大数据课程设计任务书下来时摆在面前的是一个很实际的问题要在真实的云环境里把Hadoop集群和Spark集群搭起来还要跑通WordCount和大数据交互式查询最后交一份能通过答辩的实验报告。不少同学拿到任务第一反应是装虚拟机但装着装着就发现虚拟机的网络隔离、资源分配、快照恢复全是坑折腾两周还没见到Hadoop进程起来。于是方向转向了华为云——弹性云服务器ECS按需购买、对象存储OBS存数据、BigData Pro提供一站式大数据平台这套云上方案的好处是基础设施不用自己管买完机器就能开始搭集群。这份实验报告覆盖了四个完整环节云主机实现大数据、云服务实现大数据、BigData Pro综合实验、大数据交互式查询。它解决的问题是让一个没有云平台经验的学习者照着步骤就能买ECS、建OBS、配AK/SK、搭Hadoop集群、再把Spark跑起来最终在云上完成一次完整的MapReduce计算和SQL查询。适合正在做大数据课程设计的本科生、准备华为云认证的学习者以及需要在云上快速部署一套可用Hadoop环境做POC验证的从业者。我拿到这份报告后完整走了一遍流程给我的直观感受是它把从零到WordCount跑通的全过程变成了可复现的步骤但步骤背后缺的是设计逻辑——为什么要四个节点、为什么用AK/SK而不是密码登录、为什么先关防火墙再配互信。本文就把这些逻辑补全让读者既能照着做也能讲清楚为什么这么做。2. 云上环境准备与总体设计买ECS、建OBS把四节点规划想清楚再动手2.1 华为云环境初始化ECS购买、OBS创建与AK/SK配置整个实验链条的第一步不是装软件而是把云上资源准备好。报告中买的是弹性云服务器ECS节点数量是四台对应node1到node4。为什么要四台而不是一台因为Hadoop集群的经典最小验证形态是分布式——一台做NameNode另外几台做DataNode和NodeManager单机版Hadoop体验不到数据块分布和任务调度的真实过程。四台节点是我们这个场景里性价比和实验完整度的平衡点。购买ECS时的关键参数如下表所示这些参数直接决定了后续集群能否稳定运行配置项推荐值说明规格通用计算型2核4GB起步四台至少留出20GB内存余量跑Hadoop进程镜像CentOS 7.x 或 openEuler兼容OpenJDK和Hadoop生态系统盘40GB以上Hadoop日志和临时文件很占空间网络同一VPC内四台机器需要在同一内网内网IP互通安全组放通22端口和集群通信端口后续关闭防火墙时仍需保留SSH端口购买完ECS后下一步是创建OBS对象存储服务。OBS在这个实验里的角色是数据的持久化底座——HDFS虽然能存数据但集群销毁后数据就没了OBS桶里的数据可以独立存续。建桶时注意区域要和ECS保持一致否则跨区域访问会有额外的延迟和流量费用。报告中提到的地址是obs.cn-north-4.myhuaweicloud.com这是华北区的节点地址区域不一致时这个地址要换成对应区域的Endpoint。AK/SK的获取是另一个关键动作。在华为云控制台里新增用户时会生成一对Access Key Id和Secret Access Key下载的credentials.csv文件里就保存了这对密钥。实验报告里有一组示例值——访问密钥ID是S8RSFKYBTOSPA9YX92XBSecret Access Key同样是一长串字符。需要注意的是AK/SK相当于云账号的一部分权限凭证实验中用到的roy_yuki这个子用户权限范围应该限定在OBS和ECS的操作范围里避免使用根账号的密钥。提示AK/SK泄露的风险比密码泄露更大。实验做完后建议在IAM里定期轮换密钥不要把它提交到代码仓库里。2.2 四节点集群的总体架构IP规划、主机名映射与角色划分四台ECS买完后第一步不是急着装JDK而是先做网络规划。报告里给了四台节点的IP和主机名对应关系192.168.0.10对应ecs-ca89-0001192.168.0.53对应ecs-ca89-0002192.168.0.169对应ecs-ca89-0003192.168.0.77对应ecs-ca89-0004。这里的内网IP是华为云VPC自动分配的可以直接用但要注意每台机器的主机名必须和IP对应起来否则后续SSH互信会找错目标。主机名映射的配置集中在/etc/hosts文件里。四台节点都要执行同样的配置把IP和主机名的对应关系写进去。为什么要统一配置hosts因为Hadoop的NameNode在启动时会把主机名和地址写入元数据如果各节点解析到的名称不一致DataNode注册时就会报错而且这类错误非常隐蔽日志里只显示主机名不匹配。以下是在四台节点上分别执行的配置# 在node1~node4的 /etc/hosts 中追加以下映射 192.168.0.10 ecs-ca89-0001 192.168.0.53 ecs-ca89-0002 192.168.0.169 ecs-ca89-0003 192.168.0.77 ecs-ca89-0004配置完hosts后可以用ping ecs-ca89-0002验证一下如果通说明域名解析生效了。这一步看起来简单但很多同学会漏掉——只在node1上配置了hosts其他节点还是用IP互访表面能通实际在Hadoop启动时NameNode回写给DataNode的地址是hostnameDataNode解析不了就直接注册失败了。角色划分上node1承担NameNode和ResourceManagernode2到node4承担DataNode和NodeManager。这是最常规的主从架构node1是大脑负责管理元数据和资源调度其余节点是计算和存储的执行者。实验报告的目录里显示实验一是云主机实现大数据实验二是云服务实现大数据综合实验一才真正进入BigData Pro。也就是说前面的基础环境配置会重复出现因为每次实验都是独立的环境需要重新验证。2.3 基础环境统一关闭防火墙、安装OpenJDK集群内的机器要互相通信第一道障碍就是防火墙。CentOS默认开启firewalld它会挡住Hadoop各组件之间的端口比如NameNode的8020端口、DataNode的9864端口、ResourceManager的8088端口。最稳妥的做法是直接在四台节点上关闭防火墙并禁止开机自启# node1~node4 分别执行 systemctl stop firewalld systemctl disable firewalld关闭防火墙后检查状态看到inactive就说明已经关掉了。有些同学只执行了stop没有执行disable重启云服务器后防火墙又自动起来了集群再次通信失败这就是后文要讲的典型翻车场景之一。然后是安装Java环境。Hadoop 3.x版本需要JDK 8以上报告中用的是OpenJDK。在线下载安装包的方式比较稳定因为华为云镜像站内网速度快比直接在Linux终端里从Oracle官网下载效率高得多。安装命令在不同发行版上有差异CentOS 7用yum安装openEuler用dnf但核心思路一致——把Java装到统一目录配置JAVA_HOME环境变量# 以CentOS 7为例node1~node4分别执行 yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel # 验证Java是否安装成功 java -version # 配置JAVA_HOME环境变量写入 /etc/profile export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk export PATH$PATH:$JAVA_HOME/bin安装完成后执行source /etc/profile让环境变量生效。这里有个细节Hadoop自带的脚本会读取JAVA_HOME如果这个变量没配置启动时直接报错说不认识JAVA_HOME。四台节点都要装缺一台就可能导致某个节点上的DataNode起不来。装好后建议用java -version逐一确认Java版本一致避免出现JDK版本不同的隐性问题——虽然Hadoop允许小版本差异但实验环境里保持一致能少碰很多玄学问题。3. Hadoop集群搭建SSH互信、安装包部署与WordCount验证3.1 SSH无密码跳转分布式集群管理的第一道门槛Hadoop集群的管理方式是单点登录、全局执行——从node1上执行 start-dfs.shNameNode会通过SSH登录到各DataNode节点远程拉起进程。如果SSH每次都要输密码脚本就无法自动执行集群也就起不来。所以搭建集群的第二步就是配置node1到其他三个节点的SSH免密登录。报告里展示了node1和node2的SSH公钥示例内容是rsa算法生成的公钥串结尾是rootecs-ca89-000X的格式。实际配置流程是先在每台节点上执行ssh-keygen -t rsa生成本机密钥对然后把公钥内容追加到目标节点的/root/.ssh/authorized_keys里。如果只有node1需要管理全集群那只需要node1免密登录其他节点但报告里的做法是四个节点两两互信也就是node1能免密登录node2、node3、node4反过来也要能登录。这个差异反映的是实验设计思路——报告要求验证节点间能够无密码跳转到目的节点。# 在node1上生成密钥对一路回车即可 ssh-keygen -t rsa -P # 将node1的公钥复制到node2node2的地址换成对应IP cat ~/.ssh/id_rsa.pub | ssh root192.168.0.53 mkdir -p ~/.ssh cat ~/.ssh/authorized_keys # 验证免密登录 ssh node2执行完上面的命令后会看到提示选择yes输入一次密码后就把公钥传过去了以后再登录就不用密码。同理将node3和node4的公钥也放到node1上。报告中的验证方法是分别执行ssh node1到ssh node4选择yes后确保能跳转。这个步骤做完后集群的管理通路就打通了后面启动Hadoop时就不需要交互式输入密码。3.2 Hadoop安装包部署与核心配置core-site.xml和hdfs-site.xml的要点SSH互信配置完成后进入Hadoop本体安装。实验报告在下载安装包下载jar包下载openjdk这部分没有贴详细的下载URL实际操作中建议从华为云镜像站或Apache官网下载稳定的Hadoop 3.3.x版本。下载完成后解压到/usr/local/hadoop目录并配置环境变量。Hadoop的核心配置集中在etc/hadoop目录下的几个XML文件里。core-site.xml负责定义文件系统的访问地址hdfs-site.xml负责配置HDFS的副本数和NameNode元数据存储路径。对一个四节点的实验集群来说副本数默认是3正好能覆盖四台机器中的三台保存数据的可靠性没问题。以下是core-site.xml的最小配置?xml version1.0 encodingUTF-8? configuration property namefs.defaultFS/name valuehdfs://ecs-ca89-0001:8020/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property /configurationhdfs-site.xml里需要注意的配置项是dfs.replication和dfs.namenode.name.dir。前者控制数据块副本数实验环境里可以设为2因为四台节点中有任意一台宕机时副本数为2仍然能保证数据不丢后者是NameNode元数据的本地存储路径建议放在单独挂载的数据盘上避免系统盘故障连带元数据丢失。配置完成后先格式化NameNode——hdfs namenode -format。这个命令只在第一次执行后续重启集群时不能重复执行否则会清空NameNode的元数据导致DataNode上报的块信息对不上大家常说的格式化一时爽重启火葬场就是这个道理。格式化时注意观察输出是否有successfully formatted字样没有的话检查JAVA_HOME和目录权限。3.3 WordCount跑通验证Hadoop集群真正可用的第一步Hadoop集群搭好后第一件事就是用自带示例程序跑WordCount。这个程序虽然简单但涵盖了MapReduce的完整流程Map阶段读取文本文件按空格分词Shuffle阶段按键聚合Reduce阶段统计每个词出现的次数。它能验证的不只是集群进程是否存活还包括数据节点间的数据传输、任务调度和结果回写。# 在node1上启动HDFS和YARN start-dfs.sh start-yarn.sh # 创建测试目录并上传数据文件 hdfs dfs -mkdir -p /input hdfs dfs -put /root/wordcount_data.txt /input/ # 运行WordCount hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output # 查看计算结果 hdfs dfs -cat /output/part-r-00000跑WordCount时会先经历一段时间的Map和Reduce进度输出如果看到Map 100% Reduce 100%就说明作业完成。查看part-r-00000文件即可看到分词统计结果。有的同学会问为什么不能用hdfs dfs -cat直接打印整个输出目录因为MapReduce的输出结果会写入多个part文件需要逐个查看或用-text合并。这个环节实验报告里标注了成功实现但实际跑通的过程中最常遇到的错误是java.io.FileNotFoundException——输入路径不存在。这通常是因为hdfs dfs -put上传失败可能是/tmp目录权限问题也可能是HDFS的NameNode没有完全启动。排查方法是用hdfs dfs -ls /查看根目录是否能正常列出。另一个常见问题是YARN的ResourceManager没起来MapReduce作业就一直停在ACCEPTED状态这时用jps命令检查node1上的进程列表看有没有ResourceManager这个进程。4. BigData Pro与Spark集群从单机实验到一站式云上大数据平台4.1 为什么综合实验要换到BigData Pro前面的实验一和实验二是直接用ECS手动搭建环境综合实验一则引入了华为云的BigData Pro。从实验设计的角度讲这一步是从手工造轮子到用成熟平台的跃迁——手动搭建的好处是能理解组件间的关系但生产环境里没人会这样操作云平台提供的一站式大数据服务才是实际工作中的常态。BigData Pro的价值在于把Hadoop、Spark、Hive等组件做成开箱即用的托拉拽部署Web界面上勾选版本、配置节点数量平台自动完成安装和初始化大幅缩短环境搭建时间。实验报告里BigData Pro的流程是准备华为云环境→购买ECS→购买OBS→搭建Hadoop集群→搭建Spark集群跟实验一的动作类似但这里的ECS购买和集群部署是直接在BigData Pro的控制台里完成的不需要再手动下载安装包和改配置文件。换到BigData Pro后OBS的使用逻辑也变了——之前OBS是独立的数据存储现在OBS可以直接挂载为Hadoop的文件系统实现数据存储和计算分离。这种架构的好处是计算集群可以随时释放数据留在OBS里不会丢下次建集群直接关联同一个桶就能继续处理数据。实验报告里购买完OBS后进入桶可以看到IPv4地址和双栈地址——obs.cn-north-4.myhuaweicloud.com是IPv4访问地址obs.dualstack.cn-north-4.myhuaweicloud.com支持IPv6和IPv4双栈选哪个取决于ECS所在VPC的网络类型。4.2 OBS与Hadoop集群互联对象存储怎么变成HDFS实验报告在测试与OBS互联这个环节验证的就是Hadoop集群能否通过OBS协议访问桶里的数据。这个功能的原理是Hadoop的OBSAOBS Adapter机制——华为云提供了一个实现了Hadoop FileSystem接口的jar包放进Hadoop的classpath后hdfs://协议的命令就能直接操作obs://协议的路径。以下是验证互联的核心操作# 将OBSA jar包放入Hadoop的share目录 cp /root/obs-hadoop-plugin.jar /usr/local/hadoop/share/hadoop/common/lib/ # 在core-site.xml中追加OBS相关配置 property namefs.obs.access.key/name value你的AK/value /property property namefs.obs.secret.key/name value你的SK/value /property property namefs.obs.endpoint/name valueobs.cn-north-4.myhuaweicloud.com/value /property # 通过HDFS命令访问OBS桶 hdfs dfs -ls obs://你的桶名/配置完成后Hadoop集群里的计算任务可以直接读取OBS中的数据也可以把计算结果写回OBS。这个机制的实用意义在于团队不必为每个临时任务单独准备HDFS存储数据统一放在OBS里按需挂载既能控制成本又方便数据共享。4.3 Spark集群搭建内存计算与Hadoop共存的关键配置综合实验一的最后一个环节是Spark集群搭建。Spark和Hadoop不是替代关系而是协作关系——Spark负责高速的内存计算Hadoop的YARN负责资源调度HDFS或OBS负责数据存储。实验里搭建Spark集群时要注意的适配点是Spark版本和Hadoop版本的兼容性Spark 3.x配合Hadoop 3.x是当前最稳的组合。Spark的部署方式有standalone、YARN和Mesos三种模式。实验环境中建议使用YARN模式因为Hadoop集群已经跑起来了Spark作业直接提交到YARN上做资源分配和MapReduce作业共享同一套资源管理能更真实地体验生产环境的调度逻辑。Spark相关的核心配置如下# spark-env.sh 中指定Java和Hadoop配置路径 export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_HOME/usr/local/hadoop export HADOOP_CONF_DIR/usr/local/hadoop/etc/hadoop export SPARK_MASTER_HOSTecs-ca89-0001 # spark-defaults.conf 中指定master为yarn模式 spark.master yarn spark.eventLog.enabled true spark.eventLog.dir hdfs://ecs-ca89-0001:8020/spark-logsSpark装好后可以先启动spark-shell做一个极简验证# 启动spark-shell跑一个简单的RDD计算 spark-shell --master yarn --deploy-mode client # 在scala终端中执行 val data sc.textFile(hdfs://ecs-ca89-0001:8020/input/wordcount_data.txt) val counts data.flatMap(_.split( )).map((_, 1)).reduceByKey(_ _) counts.collect().foreach(println)这里要说明的是用spark-shell只会启动一个交互式客户端真正的分布式作业要提交jar包执行。实验报告里的综合实验四——大数据交互式查询就是利用Spark SQL组件来实现类SQL的查询体验通过创建一个临时视图然后写SQL语句去查询数据底层的分布式计算对使用者是屏蔽的这就是大数据交互式查询的核心理念。5. 避坑排查华为云大数据实验最容易翻车的四个点5.1 AK/SK配置错误导致OBS连接失败现象bin/hdfs dfs -ls obs://桶名 执行后报错提示AccessDenied或403 Forbidden。原因AK/SK填写错误或者使用的子用户没有OBS的操作权限。华为云IAM用户的权限是独立配置的创建用户时如果不勾选OBS相关的策略即使密钥正确也无法访问桶。解决先确认credentials.csv里的AK/SK与实际配置是否一致注意大小写和特殊字符。然后到控制台的IAM页面检查该用户绑定的权限策略确保包含OBS FullAccess或OBS ReadOnlyAccess。最后确认桶的权限设置如果桶是私有桶必须通过AK/SK访问如果是公共读桶直接通过URL就能访问但实验里推荐私有桶配合AK/SK更接近生产环境的安全要求。5.2 SSH互信配置后仍然提示输入密码现象在node1上执行ssh node2正常免密但执行ssh node3还是提示输入密码。原因node3的公钥没有正确追加到node1的authorized_keys里或者node3的authorized_keys文件权限不对应该为600.ssh目录权限不对应该为700。Linux的SSH对目录和文件的权限有严格要求权限过宽会直接忽略这个公钥。解决登录node1检查/root/.ssh/authorized_keys文件里是否包含node3的公钥。没有的话手动追加。然后用chmod 700 /root/.ssh和chmod 600 /root/.ssh/authorized_keys修正权限。这个坑特别隐蔽我刚开始配置集群时总是在找网络和防火墙的毛病最后发现是权限多了一个group可读位SSH就静默拒绝了公钥。从那之后我每次都先检查权限再看别的。5.3 Hadoop集群启动后DataNode进程数少一个现象start-dfs.sh执行后没有报错但jps查看进程时发现四台机器只有三台有DataNode缺的那台进程根本没启动。原因这个问题的原因可能是多方面的最常见的是该节点的hosts配置错误导致NameNode无法解析主机名另一个可能是该节点的/tmp/hadoop目录权限不足DataNode启动时无法写入文件悄悄退出了。解决先单独在该节点上执行hadoop-daemon.sh start datanode观察启动日志的输出。日志里如果出现UnknownHost就是hosts配置的问题重新检查该节点的/etc/hosts。如果出现Permission denied就清理该节点HADOOP临时目录并重建权限rm -rf /data/hadoop/tmp mkdir -p /data/hadoop/tmp chmod 755 /data/hadoop/tmp。不要动不动就格式化NameNode那是最后的手段格式化一次的成本是所有节点的数据全清空。5.4 WordCount卡在ACCEPTED状态不执行现象WordCount作业提交后状态一直是ACCEPTED既不开始执行也不报错过几分钟后失败退出。原因这个情况十有八九是YARN的ResourceManager没有正确分配资源。可能的原因包括NodeManager进程没有在数据节点上启动、内存配置超出ECS实际可用内存、或者4GB内存的ECS开了太多大型服务导致内存紧缺。解决先用yarn node -list查看NodeManager的注册情况应该能看到4个节点。如果只有1个或0个说明NodeManager启动异常查看日志定位原因。然后用free -h检查内存余量YARN的默认配置里每个容器可能分配1GB内存如果主机总内存只有4GB同时跑HDFS、YARN、Spark可能导致内存不足。实验环境的合理配置是把yarn.nodemanager.resource.memory-mb调小到2048把yarn.scheduler.maximum-allocation-mb同步调低让每个任务用更少的内存。5.5 镜像差异导致安装命令不统一现象同样的安装命令在node1上执行成功在node2上报command not found。原因四台ECS购买时如果不指定相同的镜像后台可能会分配不同的操作系统版本比如一台是CentOS 7.x另一台是openEuler 20.03。CentOS的包管理是yumopenEuler 20.03是dnf命令自然不同。解决购买ECS时务必统一选择同一个镜像版本。如果已经买完了在每台节点上执行cat /etc/os-release确认系统类型按各自的包管理器执行安装。这套实验的推荐配置是全部使用CentOS 7.9因为这个版本在Hadoop生态里被测试得最多网上能搜到的坑也最全。6. 验收与答辩怎么证明这套大数据实验真的跑通了6.1 三层验收清单环境层、集群层、业务层实验报告不是写完就完事了需要拿出一套能让导师信服的验收标准。我把验收拆成三层每一层都有明确的检查项用于答辩现场快速演示。验收层检查项验证方法通过标准环境层四台ECS网络互通ping其他节点IP0%丢包环境层SSH免密登录从node1依次ssh node2/node3/node4无需输入密码环境层Java版本统一java -version四台输出一致集群层HDFS进程完整jps检查NameNode和DataNodenode1有NameNodenode2~4有DataNode集群层YARN资源管理yarn node -list显示4个健康节点集群层OBS互联hdfs dfs -ls obs://桶名能列出桶内文件业务层MapReduce计算运行WordCount100%完成且结果正确业务层交互式查询Spark SQL执行select返回查询结果答辩时建议按这个顺序逐项演示先证明基础环境没问题再证明集群本身在正常工作最后用业务作业证明整个链路是通的。这样即使导师中途打断提问你也已经完成了核心验证。6.2 答辩技巧把操作过程讲成设计决策很多同学答辩时容易把实验过程描述成先装这个、再装那个、然后跑通了这样讲信息密度太低。更好的方式是给每个关键步骤赋予一个为什么——为什么选择四节点而不是三节点因为NameNode和ResourceManager需要独立节点三个数据节点才能满足HDFS副本数为3的默认策略。为什么关闭防火墙而不是配置放行端口因为实验环境追求的是快速验证安全组已经在云平台层面做了隔离放行端口更适合生产环境。为什么Spark跑YARN模式而不是standalone模式因为生产环境强调资源利用率让Spark和MapReduce共享YARN的资源池是最优解。把这些设计理由内化到答辩回答里给人的感觉是这个实验你不仅做了还想明白了。导师最怕听到的答案是都是照着文档敲的没想过为什么。而这份实验报告的每个环节背后都有明确的设计逻辑把逻辑提炼出来逐一对应即可。汇报材料里还可以放一张集群进程截图和WordCount运行结果截图作为最直观的证据。我的习惯是每完成一个阶段就保存命令行输出用文本文件归档答辩前整理成附录。这样就算现场网络断了、集群起不来了你仍然有当时的运行证据可以展示。从那以后我每次做环境类实验都强制走一遍配置-验证-截图-归档的流程这四个环节一个都不落。希望帮到你。本文还有配套的精品资源点击获取
