Apache SeaTunnel(前身 Waterdrop),Apache 顶级开源项目,一款批流一体、插件化、多引擎的分布式数据集成(同步 / ETL)平台,主打异构数据源之间稳定、高性能的数据搬运,主推 EtLT 模式(抽取 + 轻量转换 + 加载,复杂计算下沉到数仓 / 湖仓)。
核心一句话:一份配置,可跑在 Zeta(自研引擎)、Flink、Spark 三种引擎上,连接器跨引擎复用
✅ 核心特性
三大执行引擎
Zeta Engine:SeaTunnel 自研引擎,推荐首选,轻量化、无需依赖 Flink/Spark,原生支持 CDC、Checkpoint、Exactly-Once
Apache Flink Engine:复用现有 Flink 集群
Apache Spark Engine:复用现有 Spark 集群
连接器生态丰富(~200+)
OLTP 库:MySQL、PostgreSQL、Oracle、SQLServer、TiDB(CDC 全量 + 增量)
消息队列:Kafka、Pulsar、RocketMQ
湖仓:Iceberg、Hudi、Paimon、Doris、ClickHouse、StarRocks
对象存储 / 文件:HDFS、S3、OSS、本地文件
向量库:Milvus、Qdrant,适配 AI 向量数据同步
批流统一:同一个 Source 插件,既能跑离线全量同步,也能跑流式 CDC 实时同步,支持 schema evolution(表结构变更自动适配)
一致性保障:Checkpoint + 分布式快照,支持 Exactly-Once,CDC 链路支持多表同步、DDL 同步
配置驱动:HOCON 格式配置文件,分为
env / source / transform / sink四段,几乎不用写代码
📌 典型使用场景
数据库 CDC 实时同步:MySQL → Doris / ClickHouse / Kafka
离线批量迁移:数据库、文件、HDFS 之间海量数据迁移
湖仓数据入湖:业务库数据实时写入 Iceberg/Hudi/Paimon
多源数据汇聚、异构系统打通、AI 向量数据集同步
替代 DataX(偏离线)、简化 Flink CDC 开发成本
🧩 简单配置示例(MySQL CDC → ClickHouse)
env {
job.mode = "STREAMING"
parallelism = 2
checkpoint.interval = 5000
}
source {
MySQL-CDC {
host = "127.0.0.1"
port = 3306
username = "root"
password = "xxx"
database-name = "test_db"
table-name = "test_table"
}
}
transform {
# 轻量转换:字段映射、过滤、类型转换
}
sink {
ClickHouse {
host = "127.0.0.1"
port = 8123
database = "ck_db"
table = "test_table"
username = "default"
password = ""
}
}
启动命令:
./bin/seatunnel.sh --config ./mysql_cdc_to_ck.conf -e local
🆚 和同类工具对比
📂 版本现状
最新主版本 SeaTunnel 3.x,Zeta Engine 成熟度大幅提升,是生产主推版本;2.x 还有大量存量用户。
📖 学习路线推荐
单机 Zeta 跑通 MySQL → MySQL 离线同步 Demo
再跑 MySQL CDC 实时同步(全量 + 增量)
熟悉 Transform 插件、多表同步、DDL 同步
集群部署、监控、故障恢复、压测调优
自定义 Source/Sink 插件开发
本文原创作者:易君召,详见:https://www.yijunzhao.cn/authors/yijunzhao,转载请注明出处。
原文链接
欢迎访问 小易撩挨踢