1. 概述

数据集成 (Data Integration) 是指将不同来源的数据整合到一个统一的数据库或数据仓库中，以便进行数据分析和处理。数据集成可以帮助我们从不同的数据源中提取有用的信息，并将其整合到一个统一的视图中，从而更好地理解和分析数据。

2. 产品

2.1. Addax

Addax 是一个异构数据源离线同步工具，最初来源于阿里的 DataX ，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。

来自官网

2.2. Airbyte

Airbyte 是一个开源数据集成引擎，可用于从 API、数据库和文件到数据库、数据仓库和数据湖的 ELT 管道的数据集成平台，可帮助您整合数据仓库、数据湖和数据库中的数据。

来自官网

2.3. Apache InLong

Apache InLong（应龙）是一站式的海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，方便业务构建基于流式的数据分析、建模和应用。 InLong 项目原名 TubeMQ ，专注于高性能、低成本的消息队列服务。为了进一步释放 TubeMQ 周边的生态能力，我们将项目升级为 InLong，专注打造一站式海量数据集成框架。

来自官网

2.4. Apache Gobblin

Apache Gobblin 是一套分布式数据集成框架，旨在简化大数据集成工作当中的各类常见任务，具体包括数据流与批量生态系统的提取、复制、组织与生命周期管理。

来自官网

2.5. Apache Hop

Apache Hop 是一个开源的数据集成和数据管道工具，可用于快速构建、测试和执行ETL（Extract, Transform, Load）管道和数据集成工作流程，包括数据转换、数据清洗、数据聚合、数据标准化等等。同时，通过它提供的可视化的界面，让用户可以直观地设计和管理数据管道，同时也支持编程式的数据集成和数据管道操作。

来自官网

2.6. Apache NiFi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统。基于Web图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集等功能。NiFi是美国国家安全局NAS开发并使用了8年的可视化数据集成产品，2014年贡献给了Apache社区，2015年成为Apache顶级项目。是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。

来自官网

2.7. Apache Seatunnel

Apache Seatunnel 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台，架构于Apache Spark 和 Apache Flink之上。

来自官网

2.8. Apache Sqoop

Apache Sqoop 是一款数据迁移工具，用来在不同数据存储软件之间进行数据传输的开源软件，它支持多种类型的数据储存软件。用来在关系型数据库和Hadoop/Hive间进行数据迁移，方便大量数据的导入导出工作。

2.9. BitSail

BitSail 是字节跳动开源的基于分布式架构的高性能数据集成引擎, 支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下的全域数据集成解决方案，目前服务于字节内部几乎所有业务线，包括抖音、今日头条等，每天同步数百万亿数据。

来自官网

2.10. Canal

Canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

来自官网

2.11. ChunJun

纯钧（ChunJun，原名FlinkX），是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，已在上千家公司部署且稳定运行。

2.12. DBSyncer

DBSyncer 是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。

来自官网

2.13. DTSphere Bridge

数据集成平台DTSphere Bridge（以下简称 DTSphere Bridge）是一款基于分布式架构的数据集成产品。支持从不同结构的数据源中抽取数据，对数据进行复杂的加工处理，最后将数据加载到各种存储结构中。

来自官网

2.14. DataCap

DataCap 是数据转换、集成和可视化的集成软件。支持多种数据源，文件类型，大数据相关数据库，关系型数据库，NoSQL 数据库等。通过软件可以实现管理多种数据源，对该源下的数据进行各种操作转换，制作数据图表，监控数据源等各种功能。

2.15. DataFan

DataFan 的初衷是为了打通企业从数据集成 -> 数据开发 -> 数据应用的全流程。将数据集成、数据开发（离线+实时）、数据可视化等平台开源出来，同开源社区一同治理和发展。

来自官网

2.16. DataX

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

来自官网

2.17. Debezium

Debezium 是一个分布式平台，可将现有数据库中的信息转换为事件流，使应用程序能够检测并立即响应数据库中的行级更改。

2.18. Kettle

Kettle 是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。可以将各种类型数据作为数据流，经过处理后再生成各种类型的数据。Kettle 中有两种脚本文件，transformation 和 job，transformation 完成针对数据的基础转换，job 则完成整个工作流的控制。

2.19. Streamsets

Streamsets是一个大数据实时采集ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。数据源支持MySQL、Oracle等结构化和半/非结构化，目标源支持HDFS、Hive、Hbase、Kudu、Solr、Elasticserach等。

2.20. TIS

TIS 快速为您提供企业级数据集成产品，基于批(DataX)，流(Flink-CDC、Chunjun)一体，提供简单易用的操作界面，降低用户实施各端（MySQL、PostgreSQL、Oracle、ElasticSearch、ClickHouse、Doris等）之间数据同步的实施门槛，缩短任务配置时间，避免配置过程中出错，使数据同步变得简单、有趣且容易上手。

来自官网

2.21. YunQue

云雀 (YunQue) 是一款数据集成工具，实现异构数据源的整合，帮助企业构建数据仓库、数据湖等应用架构。

来自官网

本文来自：知乎-北斗云

原文阅读