第2节 spark节点配置

发布时间:2026/10/6 2:42:02
第2节 spark节点配置 1. 明确要配的节点主机名地址IP角色主节点 master 192.168.56.10 NameNode, ResourceManager, Spark Master从节点1 slave1 192.168.56.11 DataNode, NodeManager, Spark Worker从节点2 slave2 192.168.56.12 DataNode, NodeManager, Spark Worker三台机子都要配下面以slave2为例2. VMware服务检查用 win R 建打开windows终端输入 services.msc 后点击 确定 键services.msc运行后进入服务页面找出并启动下图圈出的这两个服务3. 查看目前IP地址在虚拟机中右键打开终端输入ip a 或 ip addr 或者 ifconfigip a4. 手动配置静态IP在slave2虚拟机的终端里输入命令配置ifcfg-ens33文件sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33用 I 键进入插入模式修改文件内容需要改的地方如下修改部分BOOTPROTOstaticIPADDR192.168.56.12不同主机需要相应的变化slave1 把12改成11master把12改成10NETMASK255.255.255.0GATEWAY192.168.56.1BOOTPROTOstatic IPADDR192.168.56.12 NETMASK255.255.255.0 GATEWAY192.168.56.1删除内容带IPV4IPV6的行都删了修改完如图所示修改完内容后先点击 esc 键再输入 : 和 wq! 保存并退出5. 设置主机名执行命令修改hostname改名为slave2sudo hostnamectl set-hostname slave2配置hosts文件sudo vi /etc/hosts添加圈出来的内容最后文件内容如图所示master 192.168.56.10 slave1 192.168.56.11 slave2 192.168.56.126. 关闭防火墙sudo systemctl stop firewalld sudo systemctl disable firewalld7. 关闭SELinux(新手建议关闭)sudo setenforce 0 sudo sed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config8. 查看当前IP地址先输入命令重启网卡如下图所示sudo nmcli connection reload sudo nmcli connection up ens33再输入 ip a或者图中的命令查看都可以一样效果 查看ip地址是否已经修改修改成功后地址应如下图所示肯定和之前的不一样ip a注意如果前面步骤均操作且检查后无错误但地址依旧未修改。(以虚拟机master为例)用 win R 建打开windows终端输入 cmd 后点击 确定 键打开windows终端输入并执行命令 ssh-keygen -R 192.168.56.10 (不同主机需要相应的变化slave1 把12改成11master把12改成10再输入并执行命令 ssh gh33192.168.56.10选择 yes输入该虚拟机密码然后就可以了(到这里这节内容就完成了以下检查环节)9. 检查检查IP是否修改SSH服务是否启动成功以及hostname是否修改成功ip addr show ens33 sudo systemctl status sshd hostname

关于本文作者

来自尧图内容编辑团队

尧图内容编辑团队 内容团队

尧图内容编辑团队

本文由尧图网络内容编辑团队执笔。团队由资深项目经理、前端工程师与设计师组成,所有内容均来自亲手交付的真实项目,先讲清问题、再给出可落地的解法。尧图深耕北京网站建设十年,服务过京华建材集团、智造科技等各行业客户,把一线经验沉淀为可复用的行业观察。

  • 十年建站经验,覆盖建材、制造、服务、文创等
  • 项目经理把关选题与事实准确性
  • 工程师与设计师联合撰写专业细节
  • 统一编辑规范,保证文风与排版一致
  • 每月复盘转化数据,迭代选题方向

延伸阅读

相关资讯与近期热门内容

深度阅读推荐

建站决策前值得细读的三篇

网站改版的5个关键决策
2024-08-12

网站改版的5个关键决策

什么时候该改版、改到什么程度、如何避免流量掉光,京华建材集团改版复盘给出答案。

获取专属建站方案

看完文章,把您的行业与预算告诉我们,免费获取一份量身定制的官网建设方案与报价。

立即免费咨询