简介本资源面向使用 Kettle 进行 ETL 开发的数据工程师与初学者聚焦「循环变量设置」这一常见难点帮助解决多表批量抽取时表名无法动态替换、作业难以自动遍历执行的问题属于进阶实操型参考材料。资源包共 1 个 docx 文档约 282KB以图文混排形式组织内容便于边看边在 Kettle 中对照配置。目前已有 2545 人学习下载具备一定参考热度。文档围绕 User_Tables 存放表名、需对多张表执行相同统计或抽取语句的场景展开梳理了从 Trans 脚本取出表名、获取表数量、设置控制循环与表名字符串变量到用循环控制器、获取表行数、计数器累加模拟 for 循环的完整思路并指出 Kettle 变量一次只接收一个值的限制及其绕行办法。读者可据此理解循环作业的搭建逻辑掌握变量传递与表名替换的排错方向减少重复配置多个作业步骤的时间成本。1. Kettle 设置循环变量的真实用武之地三十张同构表别再画三十个表输入三十张业务表字段结构一模一样只有表名不同每张都要跑一遍同样的统计 SQL。有人第一反应是复制三十个「表输入」步骤串在一条转换里——能跑但下次再加十张表就得重新画一遍还容易漏。Kettle 设置循环变量解决的正是这类事把待处理的表名清单变成一条可以逐行走的数据流用变量在循环里换表名一套步骤跑完整批。它适合手上有一份「待处理对象清单」、每次处理逻辑完全一致的 ETL 场景比如按表统计行数、按表导出、按表清分区。难处在于 Kettle 并没有一个拖出来就能用的 for 循环步骤得自己把循环的三件套拼出来这也是后面几章要拆开讲的部分。2. 变量作用域与结果集Kettle 循环的两块地基在动手画作业之前有两件事必须先弄明白变量存在哪、能活多久多个表名这种「一行一个」的数据靠什么在步骤之间传。这两块不清楚画出来的循环十有八九是「只跑第一张表」或者「跑完变量就没了」。2.1 三种作用域决定变量能活到哪一步Kettle 的「设置变量」步骤Set Variables里有一个下拉框叫作用域选项就三个JVM 级、父作业、根作业。这三个的差别不是玄学是实打实决定了循环体里能不能读到值。作用域可见范围生命周期循环场景下的建议Valid in the Java Virtual Machine整个 JVM 内所有作业、转换会话结束或程序关闭才释放单机跑批够用但并发跑同一个作业会互相覆盖Valid in the parent job当前作业及其所有子作业项父作业执行结束即回收循环控制变量放这里最稳Valid in the root job从最外层作业往下都可见最外层作业结束才回收多层嵌套调用时才用得上最容易翻车的是第一条。选了 JVM 级看起来「到处都能读到」但同一个 Kettle 实例里如果并行跑两个相同的循环作业两个循环的计数器都叫 I、表名都叫 TABLENAME后启动的会把先启动的直接覆盖掉表现就是两张表串数据。我一般把循环控制相关的变量全放「父作业」除非确实要跨层级传递。还有一个细节变量一旦设过不会因为某次作业结束就自动清空JVM 级尤其明显。连续跑两次作业第二次开头拿到的可能是上一次的残值所以初始化步骤里必须无条件重新赋值不能写「如果为空才赋值」的逻辑。2.2 结果集才是多行数据的载体变量一次只能装一个「设置变量」步骤在转换里是对每一行都执行一次赋值的——注意这句话。它不会在某一行停下来等你处理而是把上一步所有行挨个刷一遍最终留在变量里的是最后一行的值。这就是为什么直接拿「表输入」接「设置变量」然后指望循环逐个表名去查是行不通的变量里永远只有最后一张表。真正承载多行的是结果集。转换里用「复制记录到结果」Copy rows to result把数据流写进内存结果集作业层面再通过「从结果获取记录」Get rows from result读出来或者用作业脚本直接访问作业的 Result 对象。整条链路大致是-- 第一步把待处理的表名清单捞出来只留需要的列 SELECT table_name FROM user_tables WHERE table_name LIKE T_% ORDER BY table_name;这段 SQL 的结果会被「复制记录到结果」整批写进结果集字段名保持 table_name、类型保持 String。排序不能省否则每次跑的顺序不一样中途失败之后想续跑就没法定位从哪张表开始。条件里的前缀按你自己的命名规范改尽量把无关的系统表挡在外面。提示结果集是作业级别的单一容器。循环体内部如果又出现一次「复制记录到结果」会把表名清单冲掉第二轮就取不到数据了。这是最隐蔽的坑之一。2.3 手工循环三件套与 for 循环的对应关系把 Kettle 的作业循环拆开看其实就是一句 Java 循环的翻版// 脑子里想的 for (int i 0; i size; i) { process(rows.get(i)); // 取出第 i 张表名处理 }对应到 Kettle 作业里是四个角色一个「判断」转换负责算出i size这个布尔值一个「简单评估」Simple Evaluation作业项读这个布尔值决定往哪走一个循环体转换干活一个计数器脚本做i并把下一行的表名回写进变量。判断步骤的 true 分支连到循环体循环体连到计数器计数器再连回判断步骤——作业图里允许这样往回连这就是 Kettle 里做 while 循环的标准姿势。为什么不用现成的「设置变量」步骤去遍历结果集因为它没有「停在第 i 行」的能力前面说过它一口气刷完所有行。所以节奏必须由作业层面的跳转来控制变量只负责「当前这一行」的快照。想清楚这一层后面画图就是纯体力活了。3. 搭一条可复现的循环抽取链从取表名到计数器累加这一章按执行顺序把整条链走一遍每一段都给出可抄的配置和代码。目标很具体遍历清单里的每张表执行SELECT COUNT(1) FROM 表名把结果落到日志或一张汇总表里。环境按 4.x 的经典版本描述高版本的差异放在最后一章。3.1 第一步把表名清单复制到结果集新建一个转换命名 s01_取表名清单里面就两个步骤表输入、复制记录到结果。表输入里填 2.2 节那段 SQL然后双击「复制记录到结果」什么都不用配它会把上游所有行原样写进结果集。这一步要注意字段类型。表输入默认把 table_name 读成 String长度按元数据推断一般没问题。但如果你的清单是从 Excel 或 CSV 来的字段可能带空格建议在中间插一个「字符串操作」String Operations做 trim并且把「剪裁类型」设为 both。带空格的表名拼进 SQL 之后报的错是「表或视图不存在」看起来完全不像空格问题能让人查半天。这个转换作为作业的第一个作业项执行完毕后结果集就挂在作业的 Result 上了。后面的作业项都能读到它前提是中间没人再写一次。3.2 第二步初始化计数器与行数上限接着建一个作业项 JavaScript命名 s02_初始化循环变量把行数上限和当前指针一起写进变量// 作业项 JavaScript从上一步转换留在内存里的结果集取行数 var rows parent_job.getResult().getRows(); var size rows.size(); // 老版本可能是 rows.length报错就换这个 if (size 0) { // 空清单兜底避免后面判断步骤读不到任何字段 parent_job.setVariable(MAX_I, 0); parent_job.setVariable(I, 0); parent_job.setVariable(TABLENAME, ); } else { parent_job.setVariable(MAX_I, String(size)); parent_job.setVariable(I, 0); // 指针停在第一行先把第一张表名写进变量 parent_job.setVariable(TABLENAME, rows.get(0).getString(table_name, )); } true; // 作业项 JavaScript 的返回值true 表示成功parent_job是作业级脚本里的固有对象getResult().getRows()拿到的就是上一步转换写进结果集的那批行。getString(table_name, )的第二个参数是默认值防止某行该字段为空时抛异常。脚本最后那句true别漏漏了这一步会被判定为失败整个作业直接中断。注意rows.size()在不同版本里可能不认改成rows.length即可。这种版本差异不值得纠结报错就换写法跑通为准。初始化这一步的价值在于「无条件覆盖」。哪怕上一次运行的残留变量还在这里也一定被重置成 0 和真实的表数量。3.3 第三步让简单评估有字段可读「简单评估」这个作业项本身不算数它只读上游作业项输出结果里的一个布尔字段。所以中间要垫一个转换命名 s03_循环判断里面三步「生成记录」Generate rows生成一行随便给个占位字段目的是造出数据流「获取变量」Get Variables读变量 I 到字段 i类型 Integer读变量 MAX_I 到字段 max_i类型 Integer「JavaScript 代码」或「计算器」算出布尔字段 result。用 JavaScript 步骤的话代码就一行逻辑// 字段 i、max_i 由「获取变量」步骤读入均为整型 // 输出字段 result类型 Boolean供作业里的简单评估读取 var result (i max_i);用「计算器」Calculator也行选比较运算 A B输出字段同样命名为 result类型 Boolean。两条路等价JavaScript 更好读计算器少一层脚本解释。然后在作业里把这个转换连到「简单评估」双击评估步骤把「Success condition」成功条件字段填成result。评估步骤会自动生成两个出口true 走绿勾false 走红叉。true 连循环体false 连收尾。这里有个容易忽略的点判断转换每次都会完整执行一遍也就意味着每轮循环都多一次转换启动开销。表数量在几十张的量级无所谓上千张时这段开销会变得可观那时候就该考虑最后一章说的新版本方案。3.4 第四步循环体里用 ${TABLENAME} 拼 SQL循环体是一个转换命名 s05_按表统计行数里面一个表输入加一个写日志或表输出-- 循环体 SQL表名由变量替换其余部分每轮完全一致 SELECT COUNT(1) AS row_cnt FROM ${TABLENAME};关键在于表输入步骤的那个复选框「替换 SQL 语句里的变量」Replace variables in script。这个勾必须处于勾选状态否则 Kettle 会把${TABLENAME}当成字面量发给数据库报的是语法错误错误信息里能看到带花括号的原文很好辨认。如果表名带模式前缀别在 SQL 里硬拼再加一个变量${SCHEMA}循环外设一次就行。拼接出来的形式是${SCHEMA}.${TABLENAME}两个变量各自独立改起来互不影响。循环体的输出建议至少接一个「写日志」Write to log把当前表名和统计结果打出来。调试阶段这一步比什么都管用——循环跑飞的时候日志里能看到它到底停在哪张表、重复了几次。等稳定了再把日志级别调低。3.5 第五步计数器累加与表名回写循环体执行完接一个作业项 JavaScript命名 s06_计数器累加// 指针前进一格并把下一行的表名回写进变量 var i parseInt(parent_job.getVariable(I, 0), 10) 1; var size parseInt(parent_job.getVariable(MAX_I, 0), 10); var rows parent_job.getResult().getRows(); parent_job.setVariable(I, String(i)); if (i size) { // 只有还没越界时才取下一行越界后取会抛数组越界 parent_job.setVariable(TABLENAME, rows.get(i).getString(table_name, )); } true;parseInt的第二个参数10别省。变量读出来是字符串某些环境下08会被当成八进制解析虽然现在少见但加上不费事。i size的判断在这里再做一次是为了防止最后一行处理完之后还去取 rows.get(size)那会直接抛异常作业红叉。脚本结束后把这个作业项连回 s03_循环判断形成闭环。至此整条链是作业开始 → s01 取表名 → s02 初始化 → s03 判断 → s04 评估 →trues05 统计 → s06 累加 → 回到 s03 →false收尾。跑之前建议先用三张表的小清单验证一遍确认日志里正好出现三行、每行表名不重复。这个验证只要十几秒能省掉后面排查半小时。4. 避坑与排查循环只跑第一张表、变量不刷新、作业停不下来这套结构一旦出错症状往往很相似但根因差别很大。下面五条是我自己踩过、也帮别人定位过的按「现象 → 原因 → 解决」写对照着查基本能覆盖大部分情况。4.1 循环体里 SQL 报语法错误日志里能看到 ${TABLENAME}现象第一轮就失败数据库返回的错误信息里原样带着${TABLENAME}这串字符或者提示「表或视图不存在」表名位置是个花括号表达式。原因表输入步骤的「替换 SQL 语句里的变量」没勾。这个选项在复制别人的转换、或者从旧版本升级过来的时候经常是关着的尤其是从别的机器导入的 ktr 文件。解决双击表输入步骤确认那个复选框处于勾选状态。另外检查变量名拼写与大小写——Kettle 的变量名区分大小写TABLENAME和tablename是两个东西设置时写大写、引用时写小写替换不会生效也不会报错只会把原文发过去。4.2 死活只处理第一张表后面 N-1 张全跳过现象清单里有十张表日志里只有第一张的记录然后作业正常结束没有任何报错。原因计数器没生效或者评估步骤读的字段不对。常见的是 s06 脚本里漏了parent_job.setVariable(I, ...)只改了脚本内的局部变量作业变量还是 0另一种是「简单评估」的 Success condition 字段名填错比如填成success而上游输出的是result这时评估永远拿到空值按 false 处理直接走结束分支。解决在 s06 里加一行日志把 I 和 MAX_I 打出来跑一次看数字是否在增长。同时打开判断转换用「预览」功能看它输出的那行数据里 result 到底是 true 还是 false。这两步能定位八成问题。4.3 第二轮循环读到的表名是空的或者报数组越界现象前几张表正常某一张之后突然报错或者 TABLENAME 变成空字符串SQL 直接语法错误。原因结果集被覆盖。循环体转换或它调用的子转换里只要出现一次「复制记录到结果」作业的 Result 就被新数据替换掉了之后再getResult().getRows()拿到的就不是表名清单。解决全局搜一遍循环链路上的所有转换确认只有 s01 里有「复制记录到结果」。如果循环体确实需要把统计结果传出去改用写临时表或者写文件的方式别动结果集。4.4 作业停不下来或者每张表被处理了两次现象日志刷屏同一张表反复出现或者每张表出现两次之后才继续下一张。原因往回的连线画重了。作业图里如果从 s05 和 s06 各连一条线回到 s03这一轮就会触发两次判断、两次循环体翻倍执行。另一种情况是 s04 评估的 true 分支同时连了循环体和收尾两条路都走。解决打开作业把鼠标悬停在连线上看它的起点终点只保留 s06 → s03 这一条回边。Kettle 的作业图允许环路但也因此不会帮你检查重复连线全靠自己看。4.5 第一次跑正常第二次跑少跑了几张表现象连续执行两次同一个作业第二次的表数量比第一次少或者干脆一张都不跑。原因变量残留。JVM 级作用域的变量在作业结束后不会自动清空第二次启动时 s02 如果没执行成功比如被跳过、或者条件分支没走到判断步骤读到的还是上次留下的 I 值指针已经越过末尾了。解决把 s02 无条件放在循环入口前确保每次运行都重置 I0、MAX_I实际行数。排查阶段可以在作业开头加一个「获取变量」加「写日志」的组合把 I、MAX_I、TABLENAME 三个值打出来一眼就能看出是不是脏值。提示中文表名或带特殊字符的对象名在某些数据库连接配置下会出现编码不一致变量替换后传给数据库变成乱码。真遇到这种情况优先考虑在清单里就存成带引号的形式而不是在 SQL 里临时加引号。5. 进阶换到新版本之后这套手工循环该不该留4.x 时代没有更省事的办法手工循环是唯一解。但 7 之后的版本给作业项加了一个属性叫「执行每一个输入行」Execute for every input row勾上之后作业项会对上游结果集的每一行自动执行一次Kettle 自己管指针你不用再写计数器脚本、不用再画回边。迁移的时候改动其实很小把循环体转换的第一步骤换成「从结果获取记录」字段定义保持 table_name然后在作业里把这个转换作业项勾上「执行每一个输入行」前面直接接 s01 取表名清单后面接收尾步骤。原来 s02、s03、s04、s06 四个作业项全部删掉。判断逻辑没了因为「有没有下一行」由框架负责。两种方案怎么选我给一张对照表维度手工循环计数器 简单评估执行每一个输入行适用版本4.x 起都能用7 之后步骤数量至少 5 个作业项3 个左右断点续跑改 I 的初始值即可从中途开始需要额外记录已处理清单单轮失败处理可以在评估分支里加容错跳转某行失败整个作业项中断靠错误处理步骤兜排查难度变量多但每一步都能打日志变量少失败定位反而更依赖日志我个人的习惯是新项目一律用「执行每一个输入行」老作业不动。因为迁移的收益主要是少画几个步骤而老作业里那些容错分支、失败跳过、断点续跑的逻辑全塞在手工循环里迁移时很容易丢。真要迁先在小清单上跑通再切生产。不管用哪种方案上线前我都会强制走一遍三步自检清单为空时作业是否正常结束而不是报错中间某张表查询失败时是否能看出是哪一张连续跑两次结果是否一致。第三步最能暴露变量残留问题而它恰恰是最容易被跳过的一步——我自己就曾经因为省了这一步在半夜被一个「第二次跑只处理了一张表」的告警叫起来。从那以后凡是带变量的作业我都要连着跑两遍看结果对不对得上才敢往调度里挂。希望帮到你。本文还有配套的精品资源点击获取
