按轻量办公、开源可视化、编程库、ETL 低代码、大数据分布式、数据质量校验、商业企业级分类，覆盖个人、分析师、开发、企业生产场景。
一、轻量无代码（小数据，万～十万行，业务人员）
1. Excel / WPS 表格
能力：删除重复值、定位空值、查找替换、分列、条件格式、函数处理格式异常
优点：零学习成本，人人可用
缺点：百万行以上卡顿，无法自动化流水线
适用：简单一次性清洗、办公报表预处理
2. Power Query（Power BI/Excel 插件）
微软内置可视化数据预处理引擎，图形化操作，无需写大量代码
处理缺失值、类型转换、拆分合并列、去重、替换；支持复用查询脚本，可定时刷新
适合：业务分析师，对接 Excel、CSV、数据库多源数据
二、开源可视化清洗工具（中小数据集，不用写大量代码）
1. OpenRefine（原 Google Refine）⭐强烈推荐
开源免费，本地运行，数据不出本机，隐私安全；Java 开发
核心：聚类模糊去重、文本标准化、字段纠错、外部知识库数据对齐，操作全部可记录可导出脚本（GREL），可复现清洗流程
优点：处理脏文本数据极强；缺点：不适合 TB 级超大数据，无内置调度任务
适用：科研、调研、csv/json 文本脏数据清洗
三、编程类库（技术人员，可自动化流水线）
Python 生态
Pandas
表格处理标准库，缺失值填充
fillna、删除空值dropna、去重drop_duplicates、格式转换、筛选；适合单机 GB 以内数据。缺点：全部加载内存，超大文件 OOM51CTO...。Dask
API 兼容 Pandas，分块并行，突破单机内存限制，不用大幅改 Pandas 代码，处理单机超内存大文件。
PyJanitor
Pandas 扩展库，封装大量清洗常用函数，简化列重命名、缺失值、异常值处理。
Great Expectations
重点不是 “改数据”，是数据质量校验，定义数据规则，检测脏数据，产出质量报告，集成流水线，常用于生产环境数据校验。
SQL（MySQL / PostgreSQL / Hive / SparkSQL）
WHERE过滤异常、DISTINCT去重、CASE WHEN标准化、TRIM清理空格、COALESCE填充空值优势：直接在数据库内清洗，不用导出；适合数据库内批量预处理。
R 语言
dplyr + tidyr，统计分析场景，擅长规整、重塑数据集，科研统计领域常用。
四、开源 ETL 低代码工具（拖拽可视化，企业流水线）
1. Kettle（Pentaho Data Integration PDI）
完全开源免费，拖拽组件，支持清洗、转换、去重、脱敏，支持定时调度，多数据源；国内传统项目使用很多。
缺点：界面老旧，大集群性能一般。
2. Apache NiFi
Apache 顶级项目，可视化数据流，侧重实时数据流清洗转换，支持路由、过滤、脱敏；适合流式数据，物联网、日志流场景。
3. dbt (data build tool)
现代数据栈，基于 SQL 做转换清洗，版本管理、测试、文档一体化；数据仓库数仓建模清洗，云数仓（BigQuery、Snowflake、Doris）常用。
五、大数据分布式清洗（TB/PB 级别，集群环境）
Apache Spark（PySpark / SparkSQL）
分布式计算，海量批数据清洗；支持 Java/Scala/Python；数据湖、数仓主流选择，可处理十亿级记录CSDN博...。
Apache Flink
主打实时流数据清洗，实时数据过滤、去重、格式转换，实时数仓。
六、商业企业级工具（重数据治理、数据质量，付费）
Informatica Data Quality：传统巨头，强大的数据质量、主数据、去重匹配，金融大企业。
Talend（Qlik Talend）：大量数据源连接器，拖拽 ETL + 清洗，开源版已停止维护，现云订阅模式。
Alteryx / Trifacta Wrangler：AI 辅助智能清洗，自动识别脏数据，业务分析师友好，云平台。
FineDataLink（帆软）：国产 ETL，适配国产数据库、信创环境，国内企业落地友好。
选型速查表
简单选型口诀
小数据脏文本用 OpenRefine；
分析脚本自动化用 Pandas/Dask；
大数据集群上 Spark/Flink；
生产流水线做质量校验带上 Great Expectations；
业务人员优先 Power Query。
原文链接
欢迎访问 小易撩挨踢