告别复杂脚本AllData 数据中台深度集成开源 DataCap构建一站式数据中枢平台新增 JDBC 组件可视化拖拽数据集成能力。支持 MySQL、Oracle、PostgreSQL、达梦、人大金仓等各类 JDBC 兼容数据库可视化编排、低代码完成数据接入、转换、同步与查询大幅降低异构数据库集成门槛助力企业快速盘活存量数据资产。本次重点能力JDBC 通用驱动组件可视化拖拽编排实操步骤步骤1先在目标端创建数据表dws_product_sales_summary为后续分析存放结果数据。步骤2点击页面右上角【】进入工作流画布页面步骤3在工作流画布左边选择数据组件通过选中拖拽方式拉到画布中Input输入组件选择Jdbc → Output输出组件选择Jdbc组件介绍Input输入组件负责“抽”数据把数据从数据库里读取出来作为整个工作流的起点1、Clickhouse作用专门用于从ClickHouse数据库(一种用于联机分析处理OLAP的列式数据库查询极快)中读取数据。适用场景当源数据存放在 ClickHouse 中时使用。2、Jdbc (JDBC source connector)作用通过Java数据库连接(JDBC)标准协议读取数据。适用场景最通用的数据输入组件。支持 MySQL、Oracle、PostgreSQL、SQL Server 等几乎所有关系型数据库。可以在里面写 SELECT 查询语句或者直接指定读取哪张表。Transform转换组件负责“洗”数据用于对从Input抽取进来的数据进行加工、清洗和转换然后再交给Output3、Sql (SQL transform)作用使用SQL语法对数据流进行加工。比如过滤(WHERE)、字段映射、聚合计算(GROUP BY)等。适用场景当需要读取的数据进行复杂的逻辑计算或清洗时使用。4、Split (Split transform)作用数据分流/拆分。通常是指根据某个字段或条件将一条数据流拆分成两条或多条数据流。适用场景从一个表里读数据希望把“状态为成功”的数据输出到A表把“状态为失败”的数据输出到B表就可以用这个组件把流“劈开”。5、Replace (Replace transform)作用字段值替换。类似于文本处理中的“查找和替换”。适用场景用于数据脱敏或格式统一。比如把源数据里的“M”替换成“男”“F”替换成“女”或者把包含特定敏感词的内容替换成“***”。Output输出组件负责“写”数据负责把处理好的最终结果写入到目标位置。6、Jdbc (JDBC sink connector)作用通过JDBC协议将数据写入关系型数据库(MySQL、Oracle等)。适用场景最通用的输出组件将数据持久化保存到常规数据库中或者建立数据仓库的ODS/DWD层表。7、Clickhouse (Clickhouse sink connector)作用专门用于将数据高速写入ClickHouse数据库。适用场景当需要处理海量数据的快速入库或者需要构建用于大屏展示的极速查询分析表时使用。步骤4设置组件信息在Input输入–Jdbc中设置数据从哪里以及用什么方式读取在Query (查询语句)输入按产品聚合的交易结算统计查询语句在Output输出–Jdbc中设置数据写到哪里完成后将Input输入到Output输出这个顺序将组件连接起来运行后会自动按顺序执行。步骤5选择运行器后点击【发布】步骤6发布后查看运行状态显示“运行成功”后可以点击步骤7打开数据源平台查看数据表至此已完成数据中枢平台的配置。这种基于DAG的可视化拖拽式数据集成编排通过Source、Transform、Sink组件自由组合、连线配置无需编写代码即可快速构建数据同步与加工任务降低了使用门槛提升了交付效率。教程案例中由“Input (JDBC)”直接连到“Output (JDBC)”的工作流的优点搭建原因(业务与技术考量)1、逻辑极简执行效率高既然所有的加工逻辑(JOIN和聚合)都在能用一条SQL搞定直接写在Input (JDBC)里是最简单的。少拖拽一个组件少配置一次映射。把计算压力交给数据库比把全量明细数据抽到工作流的内存里再计算要快得多。2、典型的“宽表/汇总表”加工场景这段SQL的核心是把明细流水表(t)和订单表(o)关联按产品维度汇总出总单量、总金额、已结算金额。这就是典型的构建DWS(数据仓库汇总层)表的操作。直接将计算结果覆盖或追加写入目标库正是这种工作流最常见的用途。3、Input组件充当了“SQL 任务”的角色在这个平台的设计中Input JDBC组件不仅可以选“表名”来全量同步也可以选“自定义 SQL”。这就相当于让这个输入节点变成了一个轻量级的转换节点输入和转换一步到位了。4、避免了跨网络的海量数据传输假设不用这种写法用“SQL Transform”组件流程会变成明细表Input → 抽取4300条明细 → 网络传输 → SQL Transform计算聚合 → 输出1条汇总这种写法会导致网络传输大量的无用明细数据。本教程的方式数据库只吐出最后聚合好的几行数据极大地节省了网络带宽。适合以下四种典型的业务场景
