易君召
易君召
发布于 2026-11-15 / 2 阅读
0

Apache SeaTunnel开源数据集成平台

Apache SeaTunnel(前身 Waterdrop),Apache 顶级开源项目,一款批流一体、插件化、多引擎的分布式数据集成(同步 / ETL)平台,主打异构数据源之间稳定、高性能的数据搬运,主推 EtLT 模式(抽取 + 轻量转换 + 加载,复杂计算下沉到数仓 / 湖仓)。

核心一句话:一份配置,可跑在 Zeta(自研引擎)、Flink、Spark 三种引擎上,连接器跨引擎复用

✅ 核心特性

  1. 三大执行引擎

    • Zeta Engine:SeaTunnel 自研引擎,推荐首选,轻量化、无需依赖 Flink/Spark,原生支持 CDC、Checkpoint、Exactly-Once

    • Apache Flink Engine:复用现有 Flink 集群

    • Apache Spark Engine:复用现有 Spark 集群

  2. 连接器生态丰富(~200+)

    • OLTP 库:MySQL、PostgreSQL、Oracle、SQLServer、TiDB(CDC 全量 + 增量)

    • 消息队列:Kafka、Pulsar、RocketMQ

    • 湖仓:Iceberg、Hudi、Paimon、Doris、ClickHouse、StarRocks

    • 对象存储 / 文件:HDFS、S3、OSS、本地文件

    • 向量库:Milvus、Qdrant,适配 AI 向量数据同步

  3. 批流统一:同一个 Source 插件,既能跑离线全量同步,也能跑流式 CDC 实时同步,支持 schema evolution(表结构变更自动适配)

  4. 一致性保障:Checkpoint + 分布式快照,支持 Exactly-Once,CDC 链路支持多表同步、DDL 同步

  5. 配置驱动:HOCON 格式配置文件,分为 env / source / transform / sink 四段,几乎不用写代码

📌 典型使用场景

  • 数据库 CDC 实时同步:MySQL → Doris / ClickHouse / Kafka

  • 离线批量迁移:数据库、文件、HDFS 之间海量数据迁移

  • 湖仓数据入湖:业务库数据实时写入 Iceberg/Hudi/Paimon

  • 多源数据汇聚、异构系统打通、AI 向量数据集同步

  • 替代 DataX(偏离线)、简化 Flink CDC 开发成本

🧩 简单配置示例(MySQL CDC → ClickHouse)

env {
  job.mode = "STREAMING"
  parallelism = 2
  checkpoint.interval = 5000
}

source {
  MySQL-CDC {
    host = "127.0.0.1"
    port = 3306
    username = "root"
    password = "xxx"
    database-name = "test_db"
    table-name = "test_table"
  }
}

transform {
  # 轻量转换:字段映射、过滤、类型转换
}

sink {
  ClickHouse {
    host = "127.0.0.1"
    port = 8123
    database = "ck_db"
    table = "test_table"
    username = "default"
    password = ""
  }
}

启动命令:

./bin/seatunnel.sh --config ./mysql_cdc_to_ck.conf -e local

🆚 和同类工具对比

工具

特点

SeaTunnel

批流一体、CDC 原生、多引擎、连接器跨引擎,兼顾离线 + 实时

DataX

阿里开源,只批处理,无流 CDC,适合离线迁移

Flink CDC

底层 Flink,能力强,上手重,需要写 Flink 代码

Canal

只做 MySQL Binlog 采集,一般搭配下游自己消费

📂 版本现状

最新主版本 SeaTunnel 3.x,Zeta Engine 成熟度大幅提升,是生产主推版本;2.x 还有大量存量用户。

📖 学习路线推荐

  1. 单机 Zeta 跑通 MySQL → MySQL 离线同步 Demo

  2. 再跑 MySQL CDC 实时同步(全量 + 增量)

  3. 熟悉 Transform 插件、多表同步、DDL 同步

  4. 集群部署、监控、故障恢复、压测调优

  5. 自定义 Source/Sink 插件开发


本文原创作者:易君召,详见:https://www.yijunzhao.cn/authors/yijunzhao,转载请注明出处。

原文链接 https://www.yijunzhao.cn/archives/apache-seatunnel-open-source-data-integration-platform

欢迎访问 小易撩挨踢

https://www.yijunzhao.cn/