TDengine 通过 taosExplorer 零代码接入 Pulsar-Tuya从连接配置到数据迁移全流程指南【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDenginePulsar-Tuya 是涂鸦智能基于开源 Apache Pulsar 定制的高可用消息集群承载着大量物联网设备上报数据。本文基于 TDengine 企业版的 taosExplorer 图形界面系统讲解如何以零代码方式创建从 Pulsar-Tuya 到 TDengine 的数据同步任务实现历史数据迁移与实时数据接入涵盖数据源添加、平台认证、采集参数、Payload 解析、字段拆分、数据过滤、表映射、高级选项与异常处理等完整环节。说明本指南对应的功能属于TDengine TSDB-Enterprise 企业版专属能力TDengine TSDB-OSS 社区版不包含 taosX 数据接入相关组件。完整操作流程参见 Pulsar-Tuya 接入文档通用 Apache Pulsar 的接入方式参见 Pulsar 接入文档。功能概述为什么选择 Pulsar-Tuya 作为数据源Apache Pulsar 是一款云原生、开源的分布式消息与流处理平台采用存储与计算分离架构天然支持多租户、跨地域复制与海量 topic。Pulsar-Tuya 则是涂鸦智能基于开源 Apache Pulsar 定制的集群版本为物联网场景提供了更强的托管能力与平台化认证体系。TDengine 的 taosX 数据接入引擎可以从 Pulsar-Tuya 高效读取消息数据并写入当前 TDengine 集群从而支撑两类典型场景历史数据迁移将 Pulsar-Tuya 中已积压的历史消息批量回放并落库实时数据接入持续订阅新到达的消息形成流式数据管道。整个接入过程完全在 taosExplorer 的 Web 图形界面中完成无需编写任何连接或解析代码。前置条件在开始创建任务前需要确保以下条件已满足已部署 TDengine 企业版集群并可通过浏览器访问 taosExplorer默认位于运行 TDengine 的主机或 IP 的6060 端口已获得涂鸦平台的Access Id与Access Key认证信息已准备好 Pulsar-Tuya 的Broker Server 地址如mqe.tuyaus.com:6650若 taosX 无法直接访问你的 Pulsar-Tuya 网络需要先安装 taosX-Agent使 taosX 通过 Agent 间接连接数据源。操作流程概览创建 Pulsar-Tuya 数据同步任务的整体流程如下添加数据源Data In → Add Task配置 Broker 连接信息填写涂鸦平台认证信息配置采集信息超时、初始位置、字符编码配置 Payload 解析解析、字段拆分、数据过滤、表映射配置高级选项配置异常处理策略提交任务并查看运行状态。添加数据源在浏览器中打开 taosExplorer 后按下述步骤创建一个 Pulsar-Tuya 数据接入任务在左侧主菜单中选择Data In数据接入点击Add Task添加任务在Name字段中为该数据接入任务输入唯一名称从Type下拉列表中选择Pulsar-Tuya可选如果该任务需要借助 Agent 访问数据源从Agent下拉列表中选择已创建的 Agent也可以点击Create New Agent现场创建从Target DB下拉列表中选择该任务写入的目标数据库也可以点击Create Database现场创建。配置连接信息在Broker Server中填写 Pulsar-Tuya 的 Broker 服务地址例如mqe.tuyaus.com:6650Pulsar 客户端会从该地址获取整个集群的元数据与连接信息因此只需填写一个有效的 Broker 地址即可无需逐个罗列集群内所有 Broker。认证机制涂鸦平台专用认证与通用 Pulsar 接入支持 Basic Auth / JWT / mTLS / Custom Authentication 四种认证不同Pulsar-Tuya 使用涂鸦平台特有的认证体系。在认证区域需要填写Access Id涂鸦平台提供的访问标识Access Key涂鸦平台提供的访问密钥执行环境根据你的涂鸦账号所属环境选择对应的执行环境如国内或海外环境。需要特别注意Pulsar 所需的 Topic、Consumer Name消费者名称、Subscription Name订阅名称会由系统根据你填写的 Access Id 与 Access Key 自动生成因此本环节不需要手动指定这些 Pulsar 概念你只需关注下述采集参数。配置采集信息Collection Configuration采集配置区域集中了与采集任务相关的参数共包含以下几项。Timeout超时时间填写超时时间。当连续从 Pulsar 消费不到数据且持续时间超过该阈值时数据采集任务将自动退出。默认值为 0 ms当设置为 0 时任务会无限期等待直到有数据到达或发生错误为止。该参数适用于消息稀疏的场景可避免长时间空转。Initial Position初始消费位置通过下拉列表选择开始消费数据的位置共两个选项默认值为 Earliest选项含义Earliest从最早的位置开始消费适用于历史数据迁移或全量回放Latest从最新的位置开始消费适用于只关心新数据的实时接入Character Encoding字符编码配置消息体的编码格式。当 taosX 收到消息后会使用该编码对消息体进行解码以还原原始数据。可选值与默认值如下编码说明UTF_8默认值通用 UTF-8 编码GBK中文环境常用编码GB18030国标扩展编码BIG5繁体中文编码完成上述配置后点击Connectivity Check连通性检查按钮即可验证数据源是否可用。配置 Payload 解析Payload Parsing负载解析区域用于定义如何将 Pulsar 消息体转换为可写入 TDengine 的结构化数据依次包含解析、字段拆分、数据过滤、表映射四个环节。Parsing解析获取与解析样本数据获取样本数据有三种方式点击Retrieve from Server从服务器获取按钮直接从 Pulsar-Tuya 拉取样本数据点击File Upload文件上传按钮上传 CSV 文件获得样本数据在Message Body消息体中手动输入 Pulsar 消息体的样本数据。JSON 数据支持JSONObject或JSONArray两种形态均可使用 JSON 解析器解析例如{id: 1, message: hello-world} {id: 2, message: hello-world}或[{id: 1, message: hello-world},{id: 2, message: hello-world}]解析完成后点击放大镜图标即可预览解析结果确认字段与类型是否符合预期。Field Splitting字段拆分在Extract or Split from Columns从列中提取或拆分中填写需要从消息体中提取或拆分的字段。例如要将message字段按分隔符拆分为message_0和message_1两个字段操作如下选择split拆分提取器在分隔符Separator中填入-在数量Number中填入2。点击Add可添加更多提取规则点击Delete可删除当前提取规则。完成后同样可通过放大镜图标预览提取/拆分结果。Data Filtering数据过滤在Filter过滤条件中填写过滤条件例如输入id ! 1则只有id不等于 1 的数据才会被写入 TDengine。点击Add可叠加多条过滤规则点击Delete可删除当前规则并可通过放大镜图标预览过滤后的结果。该功能适合在源头剔除脏数据或指定设备数据减少无效写入。Table Mapping表映射在Target Supertable目标超级表下拉框中选择目标超级表也可以点击右侧的Create Supertable创建超级表按钮现场创建。在Mapping映射区域填写目标超级表下的子表名称例如t_{id}{id}为取自消息字段的动态模板变量按需填写字段映射规则映射支持设置默认值即当消息中缺少某字段时使用默认值兜底。点击Preview预览可以查看映射结果确认子表名与字段对应关系正确后再进入下一步。配置高级选项Advanced Options高级选项区域默认折叠点击右侧的符号即可展开。其中通常包含并发度、批量大小、任务日志等进阶调优参数可根据实际吞吐量需求进行设置。展开后修改任意参数并提交即可让任务按新的配置运行。配置异常处理策略Exception Handling Strategy异常处理策略区域同样默认折叠点击展开后可见完整的策略配置。完整策略说明详见 异常处理策略资源文件。通用处理策略针对无效数据或异常可选择以下四种通用策略策略行为Archive将无效数据写入归档文件默认位于${data_dir}/tasks/id/datetime不写入目标数据库Discard直接忽略无效数据Error上报错误Cache当目标连接失败或资源不足时将数据写入缓存文件待目标恢复后再行写入分场景策略映射可针对以下具体异常场景分别配置策略目标连接超时可配置为归档、丢弃、报错或缓存目标数据库不存在可配置为归档、丢弃或报错表不存在可配置为归档、丢弃、报错或自动建表后重试主时间戳超出范围now - keep1至now 100y可配置为归档、丢弃或报错主时间戳为 null可配置为归档、丢弃、报错或使用当前时间复合主键为 null可配置为归档、丢弃或报错表名超过 192 个字符可配置为归档、丢弃、报错、截断或截断后归档表名包含非法字符如.可配置为归档、丢弃、报错或替换为配置的字符串表名模板变量为 null可配置为丢弃、留空或替换为配置的字符串列不存在可配置为归档、丢弃、报错或自动补列后重试列名超过 64 个字符可配置为归档、丢弃或报错列值超过定义长度可配置为归档、丢弃、报错、截断或截断后归档自动扩列Automatic Column Expansion可先改表再重试其他数据错误可配置为归档、丢弃或报错。附加设置Connection Timeout连接超时目标连接超时时间秒取值范围1600Temporary Storage Location临时存储位置相对于${data_dir}/tasks/id/的路径Archive Retention Days归档保留天数非负整数0表示永久保留Archive Available Space归档可用空间取值范围0655350表示不限Archive Location归档位置相对于${data_dir}/tasks/id/的路径Archive Write Failure Strategy归档写入失败策略可配置为删除旧文件、丢弃数据或报错并停止任务。合理配置异常处理策略可以显著提升数据管道在目标库结构变更、网络抖动等异常场景下的自愈能力避免单条脏数据导致整个任务中断。提交任务并查看状态完成以上所有配置后点击Submit提交按钮即完成 Pulsar-Tuya 到 TDengine 数据同步任务的创建。随后返回Data Source List数据源列表页面即可查看任务的执行状态。相关文档通用 Apache Pulsar 接入含 Basic Auth / JWT / mTLS / 自定义认证Pulsar 接入指南数据接入总览与更多数据源 01-no-code-ingestion 目录无法直连数据源时的 Agent 安装方法安装 taosX-Agent【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDengine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
