1. 为什么 Spark 的安装值得单独拿出来讲大数据生态里Spark 的安装算是“入门第一道坎”。很多人第一次接触 Spark觉得它就是个计算引擎下载解压跑个例子就完事了。但实际动手才发现光是环境变量、版本匹配、依赖冲突这几件事就足够折腾大半天。我自己第一次装 Spark 的时候前前后后重装了三次才把本地模式和伪分布式模式都跑通。这篇文章面向的是有一定 Linux 基础、想在自己机器或测试集群上把 Spark 跑起来的人。不管你是刚转行做数据开发还是后端工程师想了解一下大数据计算引擎只要跟着走都能把环境搭起来并且用一个小案例验证安装是否成功。核心关键词就三个Spark 安装、环境配置、测试案例。我不会只给你几条命令就结束而是把每一步背后的原因、常见的坑、以及怎么确认自己没做错都讲清楚。Spark 的安装方式其实有好几种本地模式、Standalone 模式、基于资源管理器的模式等。不同场景选不同方式选错了后面会很难受。所以第一部分我先讲清楚方案选型的逻辑再进入实操。2. 安装前的整体设计与方案选型2.1 先搞清楚你要哪种运行模式Spark 本身只是一个计算框架它需要一个“资源调度”的角色来决定任务跑在哪、跑多少。根据这个角色的不同Spark 有几种典型的部署模式。选型之前先看下面这张对照表模式资源管理适用场景部署复杂度是否需要额外组件本地模式无单 JVM学习、调试、小数据验证极低否StandaloneSpark 自带独立小集群、测试环境中否基于 YARNHadoop YARN已有 Hadoop 集群中高是基于容器编排容器平台云原生、弹性伸缩高是如果你只是想学 Spark 的 API、跑通一个 WordCount本地模式就够了不需要任何集群。如果你要模拟多节点行为可以用Standalone 模式它自带调度器不依赖别的组件。至于基于 YARN 或容器平台的模式通常是团队已经有现成集群时才用个人学习阶段没必要碰。我个人的建议是先用本地模式把功能跑通再考虑 Standalone 模拟集群。这样出问题时排查范围小不会一上来就被网络、端口、权限这些事淹没。2.2 版本匹配是最大的坑Spark 安装失败十有八九是版本没对上。这里涉及三个东西的版本JDK、Scala、Spark 本身。Spark 是用 Scala 写的运行时又依赖 JVM所以这三者必须兼容。以目前主流的 Spark 3.x 为例它默认编译用的 Scala 版本是 2.12 或 2.13JDK 要求 8 或 11部分新版本支持 17。如果你 JDK 装了 17Spark 用的是老版本就可能报各种奇怪的反射错误。所以选版本时先确定 Spark 版本再倒推 Scala 和 JDK。提示下载 Spark 时官网会标明它对应的 Scala 版本比如spark-3.x.x-bin-hadoop3这种命名里hadoop3 表示它预编译时绑定的 Hadoop 版本。选错这个后缀后面连 HDFS 时会报类找不到。2.3 安装方式包管理还是手动解压Linux 上装 Spark 有两种常见做法一种是用包管理器如 apt、yum装另一种是官网下载压缩包手动解压。包管理器装的好处是省事但版本往往偏旧而且安装路径分散不好管理。手动解压的好处是版本可控、路径清晰、卸载就是删目录特别适合学习和测试环境。我强烈建议手动下载解压。原因有三第一你能清楚知道每个文件在哪第二方便同时装多个版本做对比第三出问题容易回滚。下面所有实操都基于手动解压的方式。3. 核心细节解析与实操要点3.1 环境准备JDK 和 Scala 怎么装先说 JDK。Spark 3.x 推荐 JDK 8 或 11。装 JDK 的步骤不复杂但要注意配置JAVA_HOME。很多人只把java命令加到 PATH却没设JAVA_HOME结果 Spark 启动时报“找不到 Java 运行时”。正确做法是# 假设 JDK 解压在 /opt/jdk 目录 export JAVA_HOME/opt/jdk export PATH$JAVA_HOME/bin:$PATH验证方式java -version echo $JAVA_HOME两条命令都要有正确输出缺一不可。再说 Scala。如果你只用 Spark 的 Python 或 Java API其实可以不单独装 Scala因为 Spark 发行包里自带了 Scala 运行库。但如果你要写 Scala 代码或者用spark-shell它本质是个 Scala REPL那就需要装一个和 Spark 匹配的 Scala 版本。装法和 JDK 类似解压后配SCALA_HOME和 PATH。注意Scala 版本必须和 Spark 编译时用的版本一致。Spark 3.3 默认用 Scala 2.12你装个 2.13 的 Scala 去跑spark-shell可能直接报版本不匹配。最稳妥的办法是看 Spark 发行包jars目录里scala-library的版本号照着装。3.2 Spark 解压与目录结构说明下载 Spark 压缩包后解压到一个固定目录比如/opt/spark。解压完先别急着配环境变量花两分钟看看目录结构对后面排查问题很有帮助bin/可执行脚本如spark-shell、spark-submit、pysparksbin/集群管理脚本如start-all.sh、stop-all.shconf/配置文件如spark-env.sh、spark-defaults.confjars/所有依赖 jar 包examples/官方示例用来做安装测试非常方便logs/运行日志理解这个结构后你就知道改配置去conf/看日志去logs/跑示例用examples/里的 jar。3.3 环境变量配置的正确姿势环境变量主要配两个SPARK_HOME和 PATH。编辑~/.bashrc或~/.bash_profileexport SPARK_HOME/opt/spark export PATH$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH配完执行source ~/.bashrc生效。验证echo $SPARK_HOME which spark-shell如果which spark-shell能输出路径说明 PATH 配对了。实操心得我习惯把SPARK_HOME和JAVA_HOME都写在同一个文件里并且用export显式导出。有些脚本在非交互式 shell 下运行不 export 的话子进程读不到变量会莫名其妙报错。3.4 配置文件的关键项Spark 的配置文件在conf/目录下默认只有.template模板。需要手动复制一份去掉.template后缀cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.sh cp spark-defaults.conf.template spark-defaults.confspark-env.sh里主要配环境变量比如export JAVA_HOME/opt/jdk export SPARK_MASTER_HOSTlocalhost export SPARK_MASTER_PORT7077spark-defaults.conf里配默认参数比如spark.master local[*] spark.driver.memory 1g spark.eventLog.enabled true spark.eventLog.dir /tmp/spark-events本地模式下spark.master设为local[*]表示用所有可用 CPU 核心。这个配置在测试时很方便不用每次命令行指定。4. 实操过程与核心环节实现4.1 本地模式启动与验证配置完成后直接运行spark-shellspark-shell如果一切正常你会看到 Spark 的 ASCII 图标和版本信息最后进入scala提示符。这时候可以执行几行 Scala 代码验证val data Array(1, 2, 3, 4, 5) val distData sc.parallelize(data) distData.reduce((a, b) a b)最后一行应该输出15。这说明 SparkContext 已经正常工作本地模式安装成功。如果启动时报JAVA_HOME is not set回去检查环境变量。如果报ClassNotFoundException多半是 Scala 版本不匹配。如果卡在启动界面不动可能是内存不够试着在spark-defaults.conf里把spark.driver.memory调小。4.2 用官方示例做冒烟测试除了spark-shell更标准的验证方式是跑官方自带的示例。Spark 发行包里有个经典的 Pi 估算例子spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local[4] \ $SPARK_HOME/examples/jars/spark-examples_2.12-3.3.0.jar \ 100这条命令的意思是用本地 4 个核心跑 100 次采样来估算圆周率。如果输出类似Pi is roughly 3.14...说明spark-submit提交任务这条链路完全通了。注意spark-examples的 jar 包名里带 Scala 版本号比如_2.12。你装的是哪个 Scala 版本就选对应的 jar。选错了会报NoClassDefFoundError。4.3 一个完整的 WordCount 测试案例Pi 估算只是验证引擎能跑真正能说明问题的是 WordCount因为它涉及数据读取、转换、聚合、输出全流程。下面用spark-shell交互式跑一遍。先准备一个文本文件/tmp/words.txt内容随意比如spark hadoop spark hive spark hbase hadoop hive spark然后在spark-shell里执行val lines sc.textFile(/tmp/words.txt) val words lines.flatMap(_.split(\\s)) val pairs words.map(w (w, 1)) val counts pairs.reduceByKey(_ _) counts.collect().foreach(println)预期输出每个单词的出现次数。如果能看到(spark,4)这样的结果说明从文件读取到聚合输出整条链路都正常。这个案例虽然简单但它覆盖了 Spark 最核心的几个概念RDD、转换操作、行动操作。能跑通它后面学更复杂的 API 就有底了。4.4 Standalone 模式快速体验如果你想模拟多节点可以在单机上启动 Standalone 集群。先启动 master$SPARK_HOME/sbin/start-master.sh再启动一个 worker$SPARK_HOME/sbin/start-worker.sh spark://localhost:7077然后用jps命令应该能看到Master和Worker两个进程。访问 master 的 Web UI默认 8080 端口能看到集群状态。提交任务时把--master改成spark://localhost:7077即可。Standalone 模式的好处是不依赖外部组件坏处是资源调度能力有限生产环境很少单独用。学习阶段体验一下足够了。5. 常见问题与排查技巧实录5.1 启动报错速查表报错信息可能原因解决方法JAVA_HOME is not set环境变量未配检查spark-env.sh和 shell 配置NoClassDefFoundErrorScala 版本不匹配核对 jar 包和 Scala 版本Connection refusedmaster 未启动或端口错检查 master 进程和端口OutOfMemoryError内存不足调小 driver/executor 内存Permission denied目录权限问题检查日志和临时目录权限5.2 几个容易忽略的细节第一个细节是主机名解析。Standalone 模式下worker 注册到 master 时用的是主机名。如果/etc/hosts里没有正确解析worker 会注册失败。测试时建议统一用localhost或确保主机名能互相解析。第二个细节是端口占用。Spark master 默认 7077Web UI 默认 8080。如果这两个端口被别的程序占了启动会失败但不一定报明显错误。用netstat -tlnp | grep 7077确认端口状态。第三个细节是日志位置。出问题时第一反应应该是看日志而不是瞎猜。$SPARK_HOME/logs/下有 master 和 worker 的日志spark-shell的报错也会打印在终端。养成看日志的习惯能省下大量时间。5.3 我的踩坑记录我第一次装 Spark 时JDK 装的是 17Spark 用的是 3.0结果spark-shell一启动就报反射相关的异常。查了半天才发现是 JDK 版本太新。换成 JDK 8 后立刻正常。这件事让我记住大数据组件的版本兼容性比功能更重要装之前一定先查兼容矩阵。还有一次是 Scala 版本问题。我本地装了 Scala 2.13但 Spark 发行包用的是 2.12跑spark-shell时提示找不到某些类。后来我把本地 Scala 卸载直接用 Spark 自带的问题就没了。所以如果你不是非要写 Scala 项目不装独立 Scala 反而更省事。最后一个坑是内存配置。默认spark.driver.memory是 1g跑小例子没问题但数据量稍大就 OOM。测试环境可以适当调大但别超过物理内存否则会拖慢整机。6. 安装完成后的下一步建议环境跑通只是开始。接下来可以做的事有几件一是熟悉spark-submit的各种参数比如--executor-memory、--num-executors这些在生产环境调优时很关键二是学 RDD、DataFrame、Dataset 三套 API 的区别和适用场景三是了解 Spark 的惰性求值机制明白为什么转换操作不会立即执行。如果你打算往数据开发方向走建议再装一个 Hive 或 HBase把 Spark 和它们连起来用这样能覆盖更真实的场景。但那是后话眼下先把单机环境玩熟把 WordCount 这类基础案例跑透比急着搭集群更有价值。我个人在实际操作中的体会是安装过程本身就是一次很好的学习。你会被迫理解 JVM、环境变量、进程模型、端口这些底层概念这些知识在后面调优和排错时都会用到。所以别嫌麻烦每一步都亲手敲一遍比看十篇教程都管用。
