简介围绕ETL与Kettle基础主题的PPT讲解资源面向具备一定编程基础、工作1-3年的研发人员也适合需要在项目中独立完成数据同步与清洗的开发者。内容基于PDI9.2演示先从ETL的抽取、转换、加载完整流程讲起再系统拆解Kettle的安装方式、目录结构、转换与作业、步骤与跳、数据行及元数据等核心概念同时覆盖数据库连接、使用注意事项、常见不足和调优思路帮助读者把零散知识点串联成可落地的操作路径。资源共1个pptx演示文稿压缩包约859KB便于直接打开学习也可用于团队内部培训分享。已有1462人学习下载。通过26张幻灯片可掌握Kettle安装与核心概念理解其结合项目实现的方式明确数据同步调优方向为后续实际开发和二次扩展打下基础。1. ETL与Kettle数据集成项目的第一个选择题只要开始做数据仓库、报表平台或者系统迁移ETL这三个字母早晚会摆到桌面上。KettlePentaho Data Integration 社区版是我用过的最适合团队落地的开源 ETL 工具之一它把抽取、转换、装载三个环节做成了可视化流程不用写大量调度代码。它能解决的核心问题是那种数据迁移不清不楚的痛——从哪来、做了哪些清洗、卡在哪一步打开界面一眼能定位。适合的人群也比较宽数仓工程师、BI实施、运维甚至定期整理Excel的业务分析人员都能快速上手。这篇文章沿着 Kettle 的原理、安装、连接配置、高频场景和经典故障往下走最后聊一聊怎么把这份基础讲给团队听。2. 先把概念立住Kettle的核心组件、执行原理与三种启动方式2.1 转换与作业一条数据流水线与一个调度指挥中心Kettle 里最核心的两个概念是转换Transformation和作业Job。打开 Spoon 后新建文件你会看到两个选项一个叫转换一个叫作业。两者的职责边界非常清楚转换负责处理数据怎么流动比如从 MySQL 查数据、改字段名、过滤空值、写进 Oracle这些都放进转换里作业则负责什么时候做、做完之后怎么办它把转换当成一个环节挂进去可以配置定时触发、判断上一个环节成功还是失败、失败后重试还是发邮件。文件后缀也不同转换是 .ktr作业是 .kjb。这不仅是格式区别更是设计思路的区别。我见过不少新手把几十个步骤堆在同一个转换里做全量同步最后排错时日志混成一团谁先谁后都说不清。常见做法是把一个同步场景拆成多个转换比如抽数转换抽取加清洗落到中间层和装载转换从中间层写入目标库再由作业把两个转换串起来中间可以插入一个校验行数一致的作业项。这个拆法在线上跑批时特别舒服批挂掉后日志能直接定位是抽取阶段还是装载阶段出了问题。资源库也是基础概念里绕不开的一环。转换和作业可以保存成文件也可以保存到数据库资源库Kettle 自带一套元数据表。团队协作时我一般会建数据库资源库这样同事能共享转换而不靠微信传来传去单机练习或者离线演示文件资源库更省事不依赖额外的库。2.2 步骤、跳与数据流的方向Kettle的管线模型放进转换里的每个处理单元叫步骤Step步骤之间画一条有方向的连线叫跳Hop。跳的箭头方向就是数据流动的方向。这里有一个和直觉相反的关键机制Kettle 的转换是数据流驱动而不是步骤行驱动。它不是先完整跑完表输入再执行字段选择而是表输入每读出一批数据就立刻顺着跳交给下游步骤处理。每个步骤在各自线程里工作步骤之间靠一个行缓存默认 10000 行做缓冲。这个机制直接带来两个结论。第一步骤位置不影响执行顺序只有跳的方向决定数据走向你可以把表输入画在画面下方输出画在上方数据依然按箭头走。第二一个步骤卡住会自动阻塞上游这既是好事也是坏事——好处是不会把数据一股脑读进内存把进程打死坏处是如果下游配置得慢比如逐行提交 SQL整条链路都会被拖慢。步骤本身可以按职能分几类输入类表输入、文本文件输入、Excel 输入、JSON 输入、生成记录、输出类表输出、插入/更新、文本文件输出、Excel 输出、转换类字段选择、计算器、字符串替换、行集合、流类过滤记录、排序、去重、字段拆分以及脚本类执行 SQL 脚本、Java/JavaScript 代码。课程里我不建议试图讲完所有步骤让听众先掌握输入、输出、字段选择和过滤这四个大类就能覆盖八成以上日常需求。2.3 Spoon、Pan、Kitchen三个入口各管一段Kettle 不是只有一个图形界面。安装目录里有几个可执行文件管辖范围各不相同。Spoon 是图形化设计器用来画转换、画作业、做调试日常 90% 的时间都在这个界面里。Pan 是转换的命令行执行器可以在不打开图形界面的情况下直接运行一个 .ktr适合服务器上快速验证一个转换。Kitchen 是作业的命令行执行器专门用来跑 .kjb也是定时跑批的主力入口。Carte 是远程执行服务能把转换发布成 HTTP 服务让别人调用属于进阶用法基础阶段了解即可。这里必须强调一个关键判断在 Spoon 里能跑通的转换不代表命令行能跑通。Spoon 启动时会自动加载很多本机环境变量弹窗问你参数而 Kitchen 和 Pan 在纯命令行环境里运行时资源库连接、数据库驱动路径、字符集都依赖配置文件少一项就报错。这个区别会在第 5 章自动跑批失败的经典故障里再次出现提前有印象排查时不会慌。3. 跑通第一个Kettle任务JDK环境、驱动jar包与连库抽数3.1 JDK与Kettle版本匹配装JDK 8还是JDK 11Kettle 是 Java 写的装 Kettle 的第一步是装 JDK。版本对应关系不复杂Kettle 7.x 及更早版本基于 JDK 1.7/1.8Kettle 8.x 和 9.x 官方推荐 JDK 8 或 11。实践里最稳的组合是 Kettle 8.x 加 JDK 8 六十四位Kettle 9.x 加 JDK 11。如果启动时报 UnsupportedClassVersionError 或者 NoClassDefFoundError先检查 JDK 版本而不是急着翻 Kettle 配置。Kettle 是解压即用的软件没有传统安装向导。Windows 用户解压后进目录找到 Spoon.batLinux 和 macOS 找到 spoon.sh。首次启动可能要等 10 到 30 秒中间弹出的日志窗口不用管看到主界面就算成功。很多人启动不了卡在 JAVA_HOME 环境变量上Kettle 启动脚本通过 JAVA_HOME 找 Java 运行环境系统里装了 Java 却没配这个变量Spoon.bat 会一闪而过。先用命令行验证一下。# Linux/Windows 设置 JAVA_HOME 示例 # Windows PowerShell 临时设置验证路径后写进系统环境变量 $env:JAVA_HOME C:\Program Files\Java\jdk1.8.0_281 $env:Path $env:JAVA_HOME\bin; $env:Path java -version这段命令的逻辑是Kettle 的启动脚本 Spoon.bat 或 spoon.sh 会读取 JAVA_HOME把它和 bin 目录拼出 java 可执行文件路径。这里先临时设到当前会话确认 java -version 能正常输出后再去系统属性里永久配置。参数说明路径换成实际 JDK 目录注意不要装纯 JREKettle 里有些步骤比如调用 Java 脚本需要 JDK 的编译能力。3.2 配置MySQL连接驱动jar包的位置与URL参数Kettle 下载后默认带上不少数据库驱动但 MySQL 驱动经常不在发行包里Oracle 驱动也基本都不带需要自己放 jar。最常见的报错是新建连接后点测试提示找不到驱动类 com.mysql.jdbc.Driver 或者 oracle.jdbc.OracleDriver。解决方式就是下载对应的驱动 jar复制到 Kettle 安装目录下的 lib 文件夹然后重启 Spoon这个操作在老版本里几乎是必做的一步。# Linux 上把 MySQL 驱动复制到 Kettle lib 目录 cp /opt/mysql-connector-java-5.1.49.jar /opt/data-integration/lib/ echo 驱动已放置重启 Spoon 后生效逻辑说明Kettle 启动时扫描 lib 目录并加载全部 jar驱动文件放进去重启后连接类型列表里的 MySQL 才能通过测试。参数说明MySQL 驱动 5.1.49 和 8.0.x 都可以用8.0 的驱动要求 JDK 8 以上且连接串必须带时区参数如果目标 MySQL 是 5.6 或 5.7 版本且不想折腾时区用 5.1.49 更省心。新版 Kettle 里连接面板会有 Driver manager 选项理论上能自动下载驱动但生产环境离线服务器上手动放 jar 最可靠。连接配置里的关键字段包括连接类型、访问方式、主机名、端口、数据库名、用户名和密码。URL 上的参数是容易漏的地方我一般会在配置页面里打开 URL 编辑手动补上。jdbc:mysql://192.168.1.10:3306/shop_db?useSSLfalseserverTimezoneAsia/ShanghaiuseUnicodetruecharacterEncodingutf8rewriteBatchedStatementstrue参数作用不写的后果serverTimezone指定数据库会话时区MySQL 8 驱动直接报时区错误useUnicodetruecharacterEncodingutf8指定读写编码数据里的中文变成问号rewriteBatchedStatementstrue开启批量语句合并批量插入变成逐条执行速度慢很多useSSLfalse关闭 SSL 握手连接时出现 SSL 警告或失败3.3 最小ETL案例从MySQL抽一张表写到Excel现在跑一个最小闭环。打开 Spoon 新建转换从左侧面板拖入表输入步骤双击配置数据库连接SQL 写一段最简单的查询。SELECT order_id, order_date, customer_name, amount FROM shop_orders WHERE order_date 2024-01-01逻辑说明这段 SQL 决定从源库抽哪些字段、过滤哪些行。Kettle 的表输入步骤本质是连接加 SQL 加参数三件套所以 SQL 写错是运行时报错而不是配置时报错。参数说明硬编码日期只是第一次练习用正式环境要改成变量第 4 章会专门讲增量抽取的变量写法。再拖入一个Excel 输出步骤配置文件名和保存路径把四个字段映射到对应列。然后从表输入画一条跳连到 Excel 输出方向是表输入指向输出。操作顺序是这样。新建转换拖入表输入新建 MySQL 连接配置见上双击表输入粘贴 SQL先点预览按钮验证数据和连接拖入 Excel 输出配置文件名、扩展名、工作表名表输入和 Excel 输出之间画一条跳点击运行按钮几秒后 Excel 文件出现在指定目录这里有一个很实用的习惯先点表输入里的预览再运行全量。预览默认只取前 1000 行能快速确认连接和 SQL 没有问题不用等全量跑完才去文件里翻数据。Excel 输出不需要本机安装微软 OfficeKettle 用的是 Apache POI 库读写 xlsx踩坑概率很低。4. 从能跑到好用批处理、空值转换、JSON解析与增量抽取这一章解决的是把一个能跑的转换变成生产环境里经得住日批量考验的东西。4.1 表输入与表输出SQL写法、提交批次与事务边界表输入是最常用的输入步骤。它允许直接写复杂 SQL比如 join、case when、子查询但实践经验是别在表输入里做太重 ETL清洗逻辑应该拆成后续的转换步骤这样每段逻辑能单独预览、单独排错也方便复用。另一个建议是别写 SELECT *显式列出字段。源表一加列目标表的字段映射就跟着乱显式字段能把这个风险挡在前面。表输出步骤是写目标库的入口需要重点理解三个参数目标表名、提交批次大小、是否清空表。提交批次Commit size是最容易被忽略的。默认值是 1000意思是每 1000 行提交一次事务对大批次初始化同步可以调到 5000 到 10000能明显减少事务次数。但要注意中途断掉时已提交的批次不会回滚所以要做断点记录而不是指望事务给后悔药。参数推荐值说明提交大小100010000太大可能撑起目标库的回滚段批量写开启配合 URL 的 rewriteBatchedStatements 参数清空表初次全量时勾选增量不勾truncate 后写入比重置 delete 快一个量级如果目标表已经有数据且要根据主键做更新和插入就别用表输出改用插入/更新步骤这个区别在第 5 章的主键冲突案例里会展开。4.2 空字符串与NULL一个必做的数据清洗设置数据库里 NULL 和空字符串是两种东西底层存储不同业务语义也可能不同。很多业务系统在录入时把空串和 NULL 混着用导致查询时 where c1 is null 漏掉空字符串行。Kettle 里统一它们的位置在字段选择步骤的元数据页签选中字段后勾选 Treat empty string as NULL这个选项在中文界面里也显示英文新手经常找不到。如果只想处理个别字段而不是全部字段可以用替换字符串步骤把长度为 0 的字符串替换成 NULL。两者区别很明显字段选择适合一次性统一大量字段替换字符串适合单独处理地址、备注这类误填比例高的字段。还有一种局部修改场景是只对特定条件下的空值做转换比如状态字段为空时默认成未知这种情况用值映射步骤更合适直接把空值映射成一个默认值三步之内完成。这个操作为什么值得单独列一节因为空字符串和 NULL 不统一后续去重、关联、聚合全部可能出阴差阳错的数。数据质量问题的根源往往不在目标库而在同步入口没有做空值归一。ETL 里清洗这件事最常见的第一个动作就是空值处理。4.3 JSON解析Kettle能处理JSON嵌套报文吗答案是肯定的。Kettle 从 6.x 开始 JSON 处理能力就足够应付日常场景而且不用写一行代码。对接第三方接口、处理消息日志里的 JSON 报文靠的是JSON 输入步骤。它支持 JSONPath 表达式能把嵌套结构拉平成表格字段。看一个常见订单报文的例子。{ orderId: 1001, customer: { name: 张三, phone: 13800000000 }, items: [ {sku: A001, qty: 2}, {sku: A002, qty: 1} ] }JSON 输入步骤的配置思路是数据源可以选择从上一步骤的字段里取也可以直接读文件路径字段页签里填 JSONPath。$.orderId $.customer.name $.customer.phone $.items[*].sku $.items[*].qty逻辑说明JSONPath 里 $ 代表根节点[*] 代表数组展开。配置后 Kettle 会把一个订单报文拆成两行数据每行对应 items 里的一个商品。参数说明数组展开会让同一订单出现多行如果目标是一单一行的宽表需要在 JSON 输入后面接排序和去重步骤或者在输出层做聚合否则报表数据会被撑大。这个场景在数仓对接第三方系统时非常高频值得在项目里单独做一个标准的 JSON 清洗转换模板不同接口只要换 JSONPath 就能复用。4.4 增量抽取时间戳字段、变量与参数化SQL日常跑批的核心不是全量而是只抽上次跑批之后变更的数据。最常见的做法是基于时间戳字段做增量目标表里记录上次运行时间SQL 里用变量代替这个时间。表输入的 SQL 会写成这样。SELECT order_id, order_date, update_time, amount FROM shop_orders WHERE update_time ${LAST_RUN_TIME} AND update_time ${CURRENT_RUN_TIME}逻辑说明${LAST_RUN_TIME} 和 ${CURRENT_RUN_TIME} 是 Kettle 变量在运行前通过设置变量步骤或者作业里的设置变量作业项传入。变量一旦提出去转换文件本身不用改每次跑批由作业注入时间窗口这个设计是 Kettle 跑批项目的核心套路。参数说明变量在 Kettle 里是字符串类型所以 SQL 里要用引号包住日期格式建议统一成 yyyy-MM-dd HH:mm:ss避免 MySQL 隐式转换造成的边界漏数。增量还有一种做法是只同步某个业务状态字段变化的行比如订单状态从待支付变成已支付。这种情况下时间戳字段就选 update_time 而不是 order_date。增量窗口的重叠也是个容易翻车的细节为了防止边界时刻的数据漏掉上一批的结束时间要作为下一批的开始时间中间允许少量重复在目标库再用主键去重。重复不可怕漏数才可怕。5. Kettle避坑指南五个一报错就让人懵的经典现场这一章全部来自实际项目里反复出现的故障每条按现象、原因、解决来写。5.1 MySQL连接报时区错serverTimezone的来龙去脉现象用 MySQL 8 的驱动测试连接报错 The server time zone value 乱码 is unrecognized or represents more than one time zone。原因MySQL 8 驱动要求 JDBC 连接串里明确指定时区而服务器时区通常返回的是 CSTCST 在中国语境下会被解析成 China Standard Time但驱动按系统编码解析中文显示成了乱码。这个错误提示本身就是编码没配对造成的连锁反应。解决在 URL 末尾加 serverTimezoneAsia/Shanghai然后重启连接测试。如果连接串已经写在资源库里记得在资源库连接配置里同步修改。这个参数我每次建 MySQL 连接都会先写上去避免这种玄学报错。5.2 Oracle驱动找不到ojdbc6.jar 11.2.0.4怎么放现象新建 Oracle 连接测试时报 ClassNotFoundException: oracle.jdbc.OracleDriver或者 No suitable driver found for jdbc:oracle:thin:...原因Kettle 发行包默认不带 Oracle 驱动要自己放。版本方面o jdbc6.jar 11.2.0.4 是 Oracle 11g 的 JDBC 驱动适用于 JDK 6 到 8绝大多数业务库环境都能用Oracle 12c 和 19c 的库用它能连但更稳妥是用对应版本的 ojdbc8.jar。# 把 Oracle 驱动复制到 Kettle lib 目录并重启 cp /opt/ojdbc6.jar /opt/data-integration/lib/逻辑说明驱动必须放在 lib 目录下才会被 Kettle 类加载器扫描到。参数说明另一种方式是手写连接属性但生产环境还是复制 jar 最省心。还有一个细节如果 lib 目录里同时存在老版本的 ojdbc14.jar容易产生类冲突建议把旧 jar 移走只留一个。5.3 自动跑批失败Kitchen命令、资源库与日志定位现象在 Spoon 里双击运行作业一切正常配置了 Windows 任务计划或 Linux crontab 后到点没跑成功回 Spoon 里再点又是好的。原因命令行环境与图形界面环境不一致。Spoon 启动时会带上登录用户的环境变量和图形化配置而 Kitchen 是纯命令行执行资源库连接、驱动路径、字符集依赖配置文件缺少任何一项都可能静默失败。解决用 Kitchen 命令执行作业显式指定作业文件、日志级别和日志文件。/opt/data-integration/kitchen.sh \ -file:/opt/etl/jobs/sync_order.kjb \ -level:Detailed \ -logfile:/var/log/etl/sync_order_$(date \%Y\%m\%d).log逻辑说明-file 指定作业文件-level:Detailed 比默认日志多输出每个步骤的行数和耗时-logfile 把日志落盘。定时任务里路径必须写绝对路径因为计划任务的工作目录不一定在 Kettle 安装目录相对路径引用 ktr 会失败。Windows 上对应的是 Kitchen.bat参数完全一致。5.4 重复数据导致主键冲突Insert/Update步骤的关键字配置现象目标表已有主键第二批数据里有重复的 order_id表输出报 Duplicate entry 1001 for key PRIMARY。解决把表输出换成插入/更新Insert/Update步骤。这个步骤的配置里有两组关键字段一组是查询关键字用来判断记录是否已存在另一组是更新字段匹配到之后要覆盖哪些列。常见误区是只填了目标表名和提交大小忘记把 order_id 勾选为查询关键字结果步骤判断不了记录是否已存在要么全部尝试插入要么全部更新做不到真正的存在则更新、不存在则插入。配置项位置说明关键字字段查询关键字页签比如 order_id多个字段可以组合更新字段更新页签勾选需要覆盖的列比如 amount、update_time另一个容易忽略的性能项目标表的查询关键字要有索引否则插入/更新每行都全表扫描数据量一上去速度会慢到不可接受。5.5 大表同步卡死fetch size与JVM内存现象一次性同步几百万行数据跑到一半报 OutOfMemoryError: Java heap space或者长时间不报错也不前进。原因默认行缓存太大加上 JDBC fetch size 没有显式设置驱动一次性把太多结果集拉进内存也可能表输出单批提交过大目标库侧被拖垮。解决分两块先调大 JVM 堆内存再限制每次抓取的行数。调堆内存要改启动脚本Windows 是 Spoon.batLinux 是 spoon.sh找到 PENTAHO_DI_JAVA_OPTIONS 参数加 -Xmx2048m 或 -Xmx4096m。限制行数可以在表输入的高级选项里设置抽取批次大小比如 5000也可以在 JDBC URL 上追加 defaultFetchSize1000。还有一个思路是减少行缓存默认值把 10000 调到 5000让上下游步速更匹配。一句切身感受全量初始化不是每天要做的事跑批设计要按日增量的量级来配内存而不是按一次全量来配。真要全量建议夜里分片同步循环抽长时间挂一个超大转换反而是最不稳定的方案。6. 把Kettle讲给团队听一场教学演示的编排思路6.1 用一条业务数据串起整份PPT第一张 PPT 不急着讲 ETL 定义直接从业务场景进门订单明细库到日报的数据链路中间经过抽取、清洗、装载。让听众带着这条数据是怎么跑到报表里的这个问题进入 Kettle比从菜单结构开始讲有效得多。我习惯准备两份数据一份只有几十行订单明细一份月汇总表演示全部用小数据让每一步变换肉眼可见。6.2 课堂只演示三个动作不要试图在一场基础课里讲完所有步骤。我一般控制在三件事新建一个转换、配置一个数据库连接、跑通一个 MySQL 到 Excel 的最小流程。每次演示不超过十五分钟宁可让学员跟着做也不要赶时间。PPT 上每个环节尽量一张图转换对应流程图作业对应调度图坑对应报错截图。6.3 留一个故障当教学点讲数据库连接配置时我故意不加 serverTimezone让测试连接报一次时区错再把修好的 URL 贴出来对照。这个环节每次气氛都很好因为这个参数不再是要记的选项而变成解决过的问题。做 Kettle 教学这几年最深的体会是工具本身不难难的是让听的人建立数据流的直觉看到有人从报错日志里快速定位是驱动问题还是 SQL 问题时就知道这堂课真正进脑子了。希望帮到你。本文还有配套的精品资源点击获取
)
