简介这份资源面向零基础到进阶的大数据学习者围绕Spark 3.0.1稳定版展开覆盖从环境搭建到性能调优的完整知识链路适合希望系统掌握Spark核心组件与实战技巧的开发者。包内共244个文件以217张png截图、10个md笔记、9个zip示例工程为主辅以scala源码与json配置压缩包约86.9MB结构清晰便于按天查阅。内容按day01至day08逐日推进涵盖SparkCore、SparkSQL、SparkStreaming、StructuredStreaming及多语言开发并配有综合案例与3.0新特性说明笔记与代码相互印证方便边学边练。目前已有609人学习下载可作为入门者搭建知识框架、进阶者查漏补缺的参考材料帮助理解算子使用、流处理流程与调优思路。1. Spark 3.0 八天入门一套代码加笔记的学习包到底该怎么用很多人第一次接触大数据卡住的不是 Spark 本身而是环境。装完 JDK、Scala、Hadoop再配 Spark一天就过去了第二天打开 IDEA 又发现依赖冲突。这套「1-8day 代码-笔记」的学习包本质上是把八天的学习路径压缩成可运行的示例代码加配套笔记让你跳过「配环境配到怀疑人生」的阶段直接看每天该写什么、跑什么、理解什么。它适合三类人刚转大数据方向的开发者、需要快速补 Spark 3.0 实操的在校生、以及想用 Spark 做数据分析案例但不想从零搭项目的人。核心价值不在代码本身而在于它把 Spark 的核心 API 按天拆开每天一个可独立运行的最小闭环。下面我按实际落地顺序把这份学习包怎么用、参数怎么调、哪里容易翻车讲清楚。2. 八天学习包的目录结构与运行前置条件2.1 先看清包里有什么再动手拿到一个 zip 学习包最忌讳直接解压就开跑。我一般先做三件事看目录层级、看构建文件、看笔记和代码是否一一对应。典型的八天结构大致是这样分布的第 1-2 天是环境与 RDD 基础第 3-4 天是 DataFrame 与 Dataset第 5 天是 Spark SQL第 6 天是读写 JSON 与 Parquet第 7 天是内存与分区调优第 8 天是一个完整的数据分析案例。代码通常按day01到day08分目录笔记多为 Markdown 或 PDF。目录内容类型关键依赖day01-day02RDD 算子示例spark-coreday03-day04DataFrame/Datasetspark-sqlday05Spark SQL 与 Catalogspark-sqlday06JSON/Parquet 读写spark-sql、jacksonday07分区与内存参数spark-coreday08综合分析案例全部模块先确认构建工具是 Maven 还是 sbt。如果是 Maven根目录会有pom.xml如果是 sbt会有build.sbt。这一步决定了你后面导入 IDEA 的方式别搞反了。2.2 本地跑通的最小环境清单Spark 3.0 对 JDK 版本有明确要求JDK 8 和 JDK 11 都能跑但 JDK 11 需要额外加--add-opens参数否则会报反射相关的错。Scala 版本要和 Spark 编译版本对齐Spark 3.0 默认用 Scala 2.12。下面是我本地验证过的最小配置# 检查 JDK 版本必须是 8 或 11 java -version # 检查 Scala 版本Spark 3.0 对应 2.12 scala -version # 设置 Spark 本地模式运行避免依赖集群 export SPARK_LOCAL_IP127.0.0.1如果你用 JDK 11启动时加上这段 JVM 参数否则 Spark SQL 相关代码会抛IllegalAccessError--add-opens java.base/java.langALL-UNNAMED --add-opens java.base/java.nioALL-UNNAMED --add-opens java.base/sun.nio.chALL-UNNAMED参数说明SPARK_LOCAL_IP指定本地回环地址防止 Spark 在有多网卡时绑定到错误网卡导致连接超时。这三个--add-opens是 JDK 9 以上模块化系统带来的限制Spark 3.0 内部大量使用反射访问 JDK 内部类不加就会在运行 SQL 或序列化时崩掉。这是新手最容易忽略的一步很多人以为是代码问题其实是 JVM 参数没配。提示不要用 JDK 17 及以上跑 Spark 3.0模块化限制更严格报错信息也更难定位直接用 JDK 8 最省心。3. 从 RDD 到 DataFrame八天里最该动手的三类代码3.1 RDD 算子练习怎么跑出结果第 1-2 天的 RDD 代码是理解 Spark 执行模型的入口。很多人看map、filter、reduceByKey觉得简单但一到groupByKey和reduceByKey的区别就说不清。我的建议是每个算子都跑一遍然后看 Spark UI 里的 DAG 图理解宽依赖和窄依赖的实际表现。// 读取本地文件构建 RDD注意路径用 file:// 前缀 val rdd sc.textFile(file:///data/day01/words.txt) // flatMap 拆分单词map 转成 (word, 1)reduceByKey 聚合 val counts rdd .flatMap(_.split(\\s)) // 按空白字符拆分 .filter(_.nonEmpty) // 过滤空字符串 .map(word (word, 1)) // 转成键值对 .reduceByKey(_ _) // 按 key 聚合 counts.collect().foreach(println)逻辑说明textFile默认按行读取flatMap把每行拆成多个单词reduceByKey会在 map 端先做本地聚合再 shuffle比groupByKey少一次全量数据传输。参数上reduceByKey可以指定分区数默认沿用父 RDD 的分区数如果数据倾斜严重可以显式传第二个参数调整。// 指定 4 个分区缓解单分区数据过多 val counts rdd.flatMap(_.split(\\s)) .map(word (word, 1)) .reduceByKey(_ _, 4)跑完后打开http://localhost:4040在 Stages 页面能看到reduceByKey触发的 shuffle read/write 数据量。如果 shuffle write 远大于输入数据说明拆分逻辑有问题检查split正则是否把整行当成了一个词。3.2 DataFrame 与 Spark SQL 的衔接写法第 3-5 天进入 DataFrame这是实际工作中用得最多的部分。学习包里的代码通常会用createDataFrame从集合构建再注册临时视图写 SQL。这里有个高频坑case class 定义在方法内部时Spark 反射会报NoSuchMethodError必须定义在 object 顶层。// case class 必须定义在 object 顶层不能放在 main 方法里 case class Person(name: String, age: Int, city: String) object Day03Demo { def main(args: Array[String]): Unit { val spark SparkSession.builder() .appName(Day03) .master(local[*]) .getOrCreate() import spark.implicits._ val df Seq( Person(张三, 28, 北京), Person(李四, 35, 上海), Person(王五, 42, 北京) ).toDF() // 注册临时视图用 SQL 查询 df.createOrReplaceTempView(person) spark.sql( SELECT city, COUNT(*) AS cnt, AVG(age) AS avg_age FROM person GROUP BY city ).show() } }逻辑说明import spark.implicits._是使用toDF()的前提缺少这行会编译不过。createOrReplaceTempView注册的视图只在当前 Session 有效跨 Session 要用createGlobalTempView。参数上master(local[*])表示用所有可用核心调试时可以改成local[2]限制并发方便看日志。3.3 读取 JSON 数据的两种方式与 schema 推断热搜里「spark 中读取 json」出现频率很高第 6 天通常就是讲这个。Spark 3.0 读 JSON 有两种方式spark.read.json自动推断 schema或者手动指定 schema。自动推断会多扫一遍数据生产环境不推荐。// 方式一自动推断适合探索阶段 val df1 spark.read.json(file:///data/day06/users.json) df1.printSchema() // 方式二手动指定 schema生产环境推荐 import org.apache.spark.sql.types._ val schema StructType(Array( StructField(name, StringType, nullable true), StructField(age, IntegerType, nullable true), StructField(tags, ArrayType(StringType), nullable true) )) val df2 spark.read .schema(schema) .json(file:///data/day06/users.json)逻辑说明自动推断时Spark 会先读一遍数据采样再生成 schema数据量大时这一步很慢。手动指定 schema 后读取直接按类型解析速度快且类型可控。参数上nullable true表示该字段允许为空如果数据里该字段确实没有空值设为false能让 Spark 少做空值检查略微提升性能。注意JSON 里如果嵌套层级很深自动推断容易把类型推成 String后续做数值计算会报类型转换错误这种情况必须手动指定 schema。4. 内存、分区与 shuffle调优参数到底改哪个4.1 内存参数的实际影响第 7 天讲调优很多人一上来就背参数但不知道改哪个有效。Spark 内存分三块Execution Memory 用于 shuffle 和 joinStorage Memory 用于缓存 RDD 和 DataFrameUser Memory 用于用户代码。spark.memory.fraction控制前两者占总堆的比例默认 0.6。# 提交任务时的内存配置示例 spark-submit \ --master local[4] \ --driver-memory 2g \ --executor-memory 4g \ --conf spark.memory.fraction0.6 \ --conf spark.memory.storageFraction0.5 \ --class com.example.Day07Demo \ day07.jar参数说明driver-memory影响collect()和广播变量的容量如果代码里有collect()大结果集driver 内存要给够。executor-memory影响每个 executor 的堆大小本地模式下 executor 和 driver 在同一个 JVM实际可用内存是两者之和。spark.memory.storageFraction默认 0.5表示 Storage Memory 占统一内存池的一半如果频繁 cache 且 shuffle 不多可以调高到 0.7。4.2 分区数怎么定才不翻车分区数直接决定并行度和 shuffle 数据量。默认情况下textFile按 HDFS block 数分区本地文件按文件大小和spark.default.parallelism决定。分区太少任务跑不满分区太多调度开销大。// 查看当前分区数 println(df.rdd.getNumPartitions) // 重分区宽依赖会触发 shuffle val repartitioned df.repartition(8, $city) // 合并分区窄依赖不触发 shuffle val coalesced df.coalesce(2)逻辑说明repartition可以按列分区相同 city 的数据会进同一分区适合后续按 city 聚合的场景。coalesce只能减少分区不触发 shuffle适合过滤后数据量变小的情况。参数上分区数一般设为集群核心数的 2-4 倍本地模式设为 CPU 核心数即可。提示repartition后如果立即cache会缓存重分区后的数据后续查询不用再 shuffle这是常见的优化组合。5. 避坑八天学习包里最容易卡住的五个地方5.1 现象运行报NoClassDefFoundError: scala/Product原因Scala 版本和 Spark 编译版本不一致。Spark 3.0 默认用 Scala 2.12如果你的 IDEA 项目用的是 2.11就会缺类。解决在pom.xml里把scala.version改成 2.12.x并确认spark-core依赖的版本也是 3.0.x。5.2 现象collect()时 OOM原因driver 内存不够collect()会把所有分区数据拉到 driver 端。解决不要对大结果集用collect()改用take(n)或show()或者调大--driver-memory。5.3 现象JSON 读取后字段全是 null原因JSON 文件里字段名和 schema 不匹配或者嵌套结构没有用explode展开。解决先用df.printSchema()看实际结构嵌套数组用explode炸开再取字段。5.4 现象本地模式跑得比集群还慢原因local[*]用了所有核心但 JVM 堆不够频繁 GC。解决限制核心数为local[4]同时把spark.driver.memory调到 2g 以上观察日志里的 GC 时间。5.5 现象reduceByKey结果不对原因reduceByKey的聚合函数不是幂等的或者数据里有 null key。解决先filter(_._1 ! null)过滤空 key确保聚合函数满足交换律和结合律。6. 把第八天案例改成自己的一个可复用的分析模板第八天的综合分析案例通常是「读取日志 → 清洗 → 聚合 → 输出」这个流程可以直接套用到自己的数据上。我一般会保留这个骨架只替换数据源和聚合逻辑。下面是一个可复用的模板把 JSON 读取、SQL 聚合、结果写出串起来object AnalysisTemplate { def main(args: Array[String]): Unit { val spark SparkSession.builder() .appName(AnalysisTemplate) .master(local[4]) .config(spark.sql.shuffle.partitions, 8) .getOrCreate() import spark.implicits._ // 1. 读取 JSON手动指定 schema 避免推断开销 val raw spark.read .option(multiLine, true) .json(file:///data/day08/events.json) // 2. 清洗过滤空值展开嵌套字段 val cleaned raw .filter($event_type.isNotNull) .select($event_type, $user_id, $timestamp) // 3. 聚合按事件类型统计 cleaned.createOrReplaceTempView(events) val result spark.sql( SELECT event_type, COUNT(*) AS cnt FROM events GROUP BY event_type ORDER BY cnt DESC ) // 4. 输出写成 Parquet方便后续查询 result.write .mode(overwrite) .parquet(file:///data/day08/output) spark.stop() } }逻辑说明spark.sql.shuffle.partitions默认 200本地模式跑小数据时 200 个分区会导致大量空任务改成 8 能明显加快。multiLine选项用于读取跨行的 JSON 文件如果每行一个 JSON 对象则不需要。写出 Parquet 时用overwrite模式重复跑不会报路径已存在。验证方法跑完后用spark.read.parquet读回来对比行数和聚合结果是否一致。如果行数对不上检查清洗步骤是否过滤掉了不该过滤的数据。我自己的习惯是每次改完聚合逻辑先show(10)看中间结果确认无误再写出避免跑完才发现数据错了还得重来。这套学习包的价值不在于代码多高级而在于它把八天的路径固定下来你只需要按天跑通、改参数、看 UI就能把 Spark 3.0 的核心用法过一遍。真正上手后建议把第八天的案例换成自己手头的数据哪怕只是几百行日志跑通一遍比看十遍笔记都管用。希望帮到你。本文还有配套的精品资源点击获取
