做数据抽取、转换、加载的人十有八九都绕不过 Kettle。哪怕你没用过也一定听同事提过“用 Kettle 抽一下数”“Kettle 跑个同步任务”。Kettle 的全称是 Pentaho Data Integration简称 PDI是目前用得最广的开源 ETL 工具之一。它最大的优势就是图形化不需要写太多代码拖拽组件就能把数据从一个库搬到另一个库做清洗、转换、合并、定时调度都很方便。这篇文章我不打算讲太高深的功能就踏踏实实把“怎么下载、怎么安装、怎么把它跑起来”这件事掰开揉碎讲清楚全程按保姆级标准来每个步骤都告诉你为什么这么做、踩过哪些坑。不管你是刚接触 ETL 的数据小白还是被领导临时抓来搭数据同步任务的开发这篇文章都能直接照着抄。1. 装 Kettle 前先搞清楚这几件事版本、JDK 与运行环境1.1 Kettle 和 JDK 的版本对应关系选错会很难受Kettle 是用 Java 写的所以它的运行严重依赖 JDK。很多人第一次下载 Kettle 时随手装了个最新版 JDK结果双击 Spoon.bat 没反应或者弹出一个 Java 版本不兼容的报错当场心态就崩了。这里先给你吃个定心丸不是你的操作有问题是版本对应关系没对上。简单说Kettle 不同大版本对 Java 版本的要求差别很大。按我实际操作过的经验来说PDI 8.x 系列基本是配 Java 8 的你拿 Java 11 去跑可能会有一堆莫名其妙的警告甚至有些插件加载不出来PDI 9.x 开始官方推荐 Java 11到了 PDI 10.x官方的要求已经提到 Java 17 了。如果你用的是 PDI 8.2、8.3 这类比较老的版本却装了 Java 17那大概率启动的时候就会报UnsupportedClassVersionError这种错误一看就是编译版本和运行版本对不上。所以在下载 Kettle 之前先确定两件事第一你准备跑在什么操作系统上Windows 还是 Linux第二你打算用哪个大版本的 Kettle然后反推需要的 JDK。我的建议很直接新手就选 PDI 9.4 JDK 11这个组合最稳资料多、坑少、网上问问题也容易得到答案。别一上来就追最新版ETL 工具稳定比什么都重要。1.2 机器配置要求没那么玄乎但别太寒酸Kettle 本身是 Java 应用内存主要消耗在数据抽取和转换环节。如果你只是处理百万级以下的数据普通 8G 内存的电脑完全够用但如果你要跑几千万行的数据同步建议至少 16G 内存并且在启动时给 Kettle 分配足够的堆内存。这一点后面我详细讲因为默认配置下 Kettle 的启动内存其实不算大数据量一大就容易OutOfMemoryError。操作系统方面Windows 10/11、Linux、macOS 都支持但我个人体感 Windows 上最省心因为 Spoon.bat 一键启动遇到问题也容易查资料。Linux 上一般用 Kitchen/Pan 命令行工具做定时任务这个后面会讲到。硬盘空间的话解压后的 Kettle 大概 1~2G实际取决于你装了多少插件和驱动预留 5G 就绰绰有余了。还有一个很多人忽略的点目录路径。Kettle 程序目录和解压路径尽量不要有中文或空格更不要放在桌面。我之前见过有人把 Kettle 解压到C:\Users\张三\Desktop\Kettle结果插件加载失败、日志报错查了半天才发现是中文路径坑的。直接解压到D:\kettle这类纯英文路径能省掉 80% 的诡异问题。2. 保姆级下载实操从官网到镜像渠道的完整流程2.1 官网下载的正规路径认准这几个地方Kettle 的官方身份比较复杂历史上有过多种叫法现在你在网上搜“Kettle 官网”可能会看到好几个长得差不多的页面。这里我教你怎么锁死正确目标。Pentaho 的官网入口是pentaho.com进去之后找 Products 或者 Downloads 相关入口社区版Community Edition是免费的叫 PDI CE。如果你不想在官网里绕来绕去最直接的办法是在 SourceForge 上搜 Pentaho 项目这是官方长期维护的下载渠道里面能看到所有历史版本。进入下载页后你会看到一堆版本号例如pdi-ce-9.4.0.0-343.zip这样的文件名。注意看几个关键信息pdi-ce表示社区版后面那一串数字就是版本号zip 结尾的就是跨平台压缩包。Windows 下下载 zip 版本就行不用纠结有没有安装版 exe因为 Kettle 根本不需要安装解压即用这跟很多国产软件不一样。下载的时候建议挑一个和时间上相对成熟的版本不要选刚发布几天的新版本社区版的新版本难免有一些细小的 bug。9.4 这个版本目前口碑比较稳定我周围很多同事都用它。如果你要对接非常老的项目比如公司内部还在用 PDI 8.2 做的转换那就得下载对应旧版本因为高版本打开旧资源文件虽然大体兼容但有时会出现样式或行为不一致的问题。2.2 下载慢或者打不开官网页面怎么办镜像与备用渠道官网下载有时候会比较慢这是很正常的现象毕竟服务器在国外。这种情况没必要硬等SourceForge 本身支持多镜像节点下载时它会自动帮你选一个较快的地理位置。如果你发现某个镜像速度特别慢可以在 SourceForge 的下载页面手动切换其他镜像一般选美国的节点反而比某些自动选择的节点更快。除了 SourceForge还有一个渠道是 Maven 仓库。Kettle 的核心依赖包会发布到公共 Maven 仓库里但普通用户从 Maven 仓库拿完整发行包不太方便只适合开发者。所以对绝大多数人来说我的建议就两条官网下载渠道和 SourceForge 项目页其他第三方网站上提供的所谓“Kettle 安装包”我不推荐因为你无法确认文件有没有被篡改过。下载完后如果你有校验工具可以看一下文件的 SHA 或 MD5官网一般会提供校验值这一步虽然麻烦但能避免很多安全风险。下载好的 zip 包一般就几百 MB 到 1G 左右。拿到压缩包之后不要急着双击先解压到一个干净的目录比如D:\kettle。解压完成后你会看到一个>PENTAHO_DI_JAVA_OPTIONS-Xms512m -Xmx4096m -Dfile.encodingUTF-8-Xms表示初始堆内存大小-Xmx表示最大堆内存大小。这里的 4096m4G只是一个推荐值具体要看你的电脑内存总量。如果你只有 8G 内存建议-Xmx设为 2048m 或 3072m留一部分给操作系统和其他软件。如果你有 16G 内存设到 4G 或 6G 都可以。改完内存参数后关闭 Kettle 重新启动才能生效。注意如果这里设置的内存超出了电脑物理内存系统会疯狂使用虚拟内存结果就是整个电脑卡死所以不要贪心。另外如果你用的是 Kettle 9.4 之前的版本脚本名称或参数位置可能略有不同但核心思路就是找到 JVM 内存启动参数并修改。4. 首次运行与扩展配置连接数据库、驱动安装与编码设置4.1 第一次启动 Spoon主界面认识与基础设置如果一切顺利Spoon 启动后会看到一个带有菜单栏、左侧资源树和中间画布的主界面。第一次打开可能会弹出一个欢迎页或者提示更新不用管关掉就行。左侧的资源树里默认建了一些目录比如“首页”“定时任务”“转换”等你可以右键新建一个转换Transformation或作业Job这就是后续开发数据流程的地方。这里有一个实用的初始化设置修改用户目录下的repositories.xml和.kettle目录位置。默认情况下Kettle 会把配置文件放在当前用户主目录下的.kettle文件夹里例如C:\Users\你的用户名\.kettle。如果你的用户名带中文或者你想把配置统一管理可以通过设置环境变量KETTLE_HOME来指定配置文件目录。比如设成D:\kettle_home这样以后数据库连接信息、资源库配置都统一在这个目录下方便备份和迁移。初次使用 Kettle我建议你先从“转换”开始练手因为转换对应的是数据抽取和转换的单个流程。核心组件都在左侧面板里比如“输入 - 表输入”“输出 - 表输出”“转换 - 字段选择、排序记录、去重记录”等。你不需要一开始就把所有组件都背下来知道它们大概分在哪几个分类下就行后面做项目时用到哪个查哪个。4.2 连接数据库必看驱动 jar 放哪里、连接参数怎么写Kettle 安装包自带了一些数据库驱动比如 H2、Derby 这些内置库但常用的 MySQL、Oracle、PostgreSQL、SQL Server有些版本并不自带或者自带的比较旧。如果你新建数据库连接时提示Could not load driver或者Driver class not found八成就是驱动 jar 没放对位置。驱动 jar 要放到>Pan.bat /file D:/etl/test.ktr /level Basic Kitchen.bat /file D:/etl/每周同步.kjb /level Basic/file指向你的 ktr 或 kjb 文件/level是日志级别Basic 表示只输出关键日志适合日常跑批。你可以把命令写进 Windows 计划任务或 Linux 的 crontab 里从而实现每天自动抽数。但命令行执行和图形界面执行有个很大的区别图形界面下你肉眼能看到步骤在哪里报错而命令行只能靠日志文件。所以我在生产环境部署时习惯在命令里加一个日志输出参数例如/logfile D:/etl/logs/sync.log这样每次执行的结果都会写到指定日志文件中。一旦任务失败先打开日志文件看最后的堆栈信息大多数是数据库驱动、SQL 语法或者连接超时问题。还有一个很隐蔽的问题如果脚本里的数据库密码包含特殊字符比如、、%在命令行里可能被系统解析处理掉导致连接失败。碰到这种问题建议先在 Spoon 里调试通过再把资源库连接信息导出或者改成参数变量的方式传入密码不要在命令行里直接暴露特殊字符。5.3 关于驱动、内存与日志的几条独家避坑心得第一驱动 jar 版本尽量和数据库版本一致不要只看“能连上”就完事。比如 MySQL 5.6 配 8.x 驱动连接虽然能建立但一些数据类型映射可能出问题日期字段会变成奇怪的字符串。第二如果 Kettle 长时间运行定时任务一次跑几小时日志文件会不断膨胀建议定期清理logs目录或让输出日志按日期自动切割。第三内存调大不是万能的如果表输入和表输出中间涉及大量排序操作尽量在数据库端把排序做了把结果集缩小后再让 Kettle 拉取这样比单纯调-Xmx更有效。还有一件事我吃过亏Kettle 在跑连接查询时如果源表数据在抽取过程中发生了变化可能导致结果不一致或数据重复。数据同步任务尽量安排在业务低峰期如果做不到就在 SQL 里用事务或时间戳增量条件控制范围。6. 把 Kettle 真正用起来从安装到第一个常规任务6.1 五步完成一个最简单的 MySQL 到 MySQL 同步任务安装测试通过后我建议你做一个练习任务巩固一下流程不需要多复杂数据从一张源表同步到另一张目标表就行。第一步右键左侧资源树里的“转换”新建一个转换命名比如“用户表同步”。第二步在左侧面板里的“输入”分类中找到“表输入”拖到画布上再在“输出”分类找到“表输出”也拖到画布上。第三步双击“表输入”配置源数据库连接和查询 SQL比如SELECT id, name, create_time FROM source_user WHERE update_time ?参数可以从外部传入也可以先写死测试。第四步双击“表输出”配置目标数据库连接并设置目标表名称建议勾选“指定数据库字段”让你手动确认字段映射避免字段类型不对导致报错。第五步用一条 Hop 连接线把“表输入”的输出连到“表输出”的输入点击左上角的运行按钮查看执行结果。跑通之后你可以试着在中间加一个“字段选择”组件只保留需要的字段或者加“过滤记录”“排序记录”组件感受一下 Kettle 的转换流。能把这个最简单流程跑通后面再复杂的项目也都是在这个基础上叠加组件而已。6.2 作业与定时任务让 Kettle 自动跑起来开发完转换之后生产环境一般不会天天手工点运行而是做成作业Job然后用 Kitchen 命令触发。顺序一般是先建转换再建作业去调用转换最后用 Windows 计划任务或 Linux cron 调 Kitchen。在 Spoon 里新建作业时你可以在作业画布上拖入“转换”组件双击指定要执行的 ktr 文件还可以设置成功或失败后的跳转逻辑。比如凌晨 2 点执行抽数抽数成功后发送邮件通知失败则重试一次这些都是通过作业组件实现的。配置好作业后先点运行按钮测试通过再把它放到服务器上做定时调度。最后我再分享一个实际操作中的小技巧文件里的数据库密码默认是明文或简单编码存放的。在多人协作或生产环境下尽量使用 Kettle 的资源库Repository来做权限管理或者使用参数文件注入密码。如果条件不允许至少不要提交到公共代码仓库防止账号泄露。这个问题初看不是安装环节的事但越早养成好习惯后续越省心。
