SeaTunnel Edge Agent 安装包下载与源码构建完整指南

SeaTunnel Edge Agent 安装包下载与源码构建完整指南【免费下载链接】seatunnelSeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.项目地址: https://gitcode.com/GitHub_Trending/se/seatunnel本篇指南面向需要在边缘主机上部署 SeaTunnel Edge Agent 的运维与开发人员系统讲解 Edge Agent 独立安装包的获取方式从环境准备、官方二进制 tarball 下载到基于当前仓库源码构建、目录结构确认与安装后衔接全程附带可复制命令与源码级佐证。读完即可在边缘主机上获得一个可直接运行 Edge Agent 的安装根目录。Edge Agent 是 SeaTunnel 面向边缘场景的轻量数据采集组件在仅能本机访问数据源的边缘主机上采集数据经 WAL 缓冲后通过 EdgeSocket 行协议发送到正在运行的 SeaTunnel 作业详见 Edge Agent 简介。与主分发包apache-seatunnel-version-bin.tar.gz不同Edge Agent 以独立 tarball 发布本指南的每一步都对应当前仓库中可验证的实现。步骤 1环境准备在边缘主机上Edge Agent 的运行依赖极少只需满足以下三项项目要求说明JavaJDK 8 或 11更高版本 LTS 一般可用需正确设置JAVA_HOME启动脚本直接调用java磁盘queue.sqlite-pathWAL 与位点及日志目录可写WAL 是 Edge Agent 本地出站队列的持久化机制网络边缘主机可访问output.endpoint配置的 EdgeSocket 地址数据最终通过 EdgeSocket 行协议发送给 Engine 侧作业磁盘项的queue.sqlite-path即 SQLite WAL 缓冲数据库文件路径默认值为data/wal.db见示例配置 seatunnel-edge-agent/config/agent.yaml 中queue段的注释日志默认写入安装根目录下的log/。所谓位点指文件采集的读取位置source position与 WAL 行一起持久化二者都落在 SQLite 数据库中。需要注意边缘主机不需要安装完整的 SeaTunnel Engine 分发包。Edge Agent 是独立的轻量常驻进程只负责采集 → 缓冲 → 发送完整管道编排发生在 Engine 集群侧。步骤 2下载二进制包Edge Agent 以独立 tarball 发布与主 SeaTunnel 分发包分离文件名为apache-seatunnel-edge-agent-version-bin.tar.gz在官方下载页提供后可执行以下命令下载并解压seatunnel-version替换为目标版本号如2.3.xexport versionseatunnel-version wget https://archive.apache.org/dist/seatunnel/${version}/apache-seatunnel-edge-agent-${version}-bin.tar.gz tar -xzf apache-seatunnel-edge-agent-${version}-bin.tar.gz cd apache-seatunnel-edge-agent-${version}解压后安装根目录是包含bin/、config/、starter/的目录。:::tip 安装根目录变量 下文中的EDGE_AGENT_HOME即指该安装根目录。启动脚本按自身路径解析目录见 seatunnel-edge-agent.sh脚本以BASH_SOURCE为基准向上解析出BASE_DIR建议导出EDGE_AGENT_HOME便于运维与 systemd 配置。 :::步骤 3源码构建若需要自定义构建、验证最新代码或离线分发可从源码构建安装包git clone https://github.com/apache/seatunnel.git cd seatunnel ./mvnw clean package -pl seatunnel-dist -am -DskipTests -Dskip.spotlesstrue构建产物路径seatunnel-dist/target/apache-seatunnel-edge-agent-version-bin.tar.gz将 tarball 拷贝到边缘主机并解压即可。构建过程由 seatunnel-dist/pom.xml 中的edge-agent-binassembly 执行生成finalName 为apache-seatunnel-edge-agent-${project.version}同时生成edge-agent-src源码包。构建说明与注意事项-pl seatunnel-dist -am只构建分发模块及其依赖模块避免全量构建整个仓库-DskipTests跳过测试以加速构建-Dskip.spotlesstrue跳过代码风格检查spotless如需提交修改则不应跳过构建前需确保本机具备 JDK 与 Maven 环境仓库自带./mvnwMaven Wrapper无需单独安装 Maven。无需执行 install-plugin与主 SeaTunnel 分发包不同Edge Agent不需要执行bin/install-plugin.sh。原因可从 seatunnel-edge-agent-starter/pom.xml 验证内置的输入采集、传输与序列化能力seatunnel-common、seatunnel-api、seatunnel-edge-agent-transport、seatunnel-edge-agent-connector已作为依赖打入seatunnel-edge-agent-starter.jar开箱即用无需外部插件目录。步骤 4确认目录结构解压后应得到如下目录结构apache-seatunnel-edge-agent-version/ bin/ seatunnel-edge-agent.sh seatunnel-edge-agent.cmd config/ agent.yaml # 示例配置 log4j2.properties starter/ seatunnel-edge-agent-starter.jar logging/ # 日志依赖 README.md各组成部分的打包来源可在 assembly-edge-agent-bin.xml 中一一对应bin/来自仓库seatunnel-edge-agent/bin目录含 Linux 启动脚本与 Windows 批处理脚本fileMode为0755保证可执行config/来自仓库seatunnel-edge-agent/config目录即 agent.yaml 示例配置与log4j2.properties日志配置starter/seatunnel-edge-agent-starter.jar由seatunnel-edge-agent-starter模块打包而成见 assembly-edge-agent-bin.xml 的 dependencySet 输出映射这是 Edge Agent 的主可运行 JARstarter/logging/打包了 SLF4J 与 Log4j2 相关日志依赖slf4j-api、jcl-over-slf4j、log4j-api、log4j-core、log4j-slf4j-impl见 assembly-edge-agent-bin.xmlREADME.md来自仓库seatunnel-edge-agent模块。扩展高级lib/ 目录默认安装包不含lib/目录。仅当你自行构建扩展插件时可将额外 jar 放入lib/。主 JAR 通过maven-shade-plugin打成 fat jar见 seatunnel-edge-agent-starter/pom.xml并将日志依赖排除在 shade 之外、改由starter/logging/提供这种拆分保证了扩展 jar 的类加载隔离与日志一致性。安装后衔接验证与启动拿到安装包后可按 部署指南 完成生产部署要点包括导出EDGE_AGENT_HOME与PATH建议写入/etc/profile.d/edge-agent.sh编辑$EDGE_AGENT_HOME/config/agent.yaml至少配置input.paths与outputtransport 类型时须配置endpoint与token在 Engine 侧提交含 EdgeSocket Source 的作业监听地址与 token 与 Agent 的output.endpoint一致执行sh bin/seatunnel-edge-agent.sh start启动日志中出现BOOTSTRAP_READY即表示启动成功。从源码确认启动脚本还支持一系列环境变量覆盖默认路径EDGE_AGENT_CONFIG、EDGE_AGENT_PID_FILE、EDGE_AGENT_ID_FILE、EDGE_AGENT_LOG_FILE、EDGE_AGENT_LOG_CONFIG、EDGE_AGENT_LOG_DIR、EDGE_AGENT_APP_LOG_NAME、EDGE_AGENT_STARTUP_READY_TIMEOUT_S多实例部署时正是通过为每个实例指定独立的配置、PID 文件与 WAL 路径来实现隔离见 seatunnel-edge-agent.sh。相关文档导航快速开始本地 Console 验证 → 接入 Engine 的完整上手流程部署指南生产环境部署检查清单与多实例部署配置参数说明agent.yaml 全量参数表输入配置指南 与 输出配置指南按场景编写 YAML架构概览WAL、投递语义与 Engine 边界EdgeSocket SourceEngine 端接收协议运维指南启停、日志与排障【免费下载链接】seatunnelSeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.项目地址: https://gitcode.com/GitHub_Trending/se/seatunnel创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考