1.1 Hudi简介

Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。

Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。

Apache Hudi可以轻松地在任何云存储平台上使用。Hudi的高级性能优化，使分析工作负载更快的任何流行的查询引擎，包括Apache Spark、Flink、Presto、Trino、Hive等。

1.2 发展历史

2015 年：发表了增量处理的核心思想/原则（O'reilly 文章）。

2016 年：由 Uber 创建并为所有数据库/关键业务提供支持。

2017 年：由 Uber 开源，并支撑 100PB 数据湖。

2018 年：吸引大量使用者，并因云计算普及。

2019 年：成为 ASF 孵化项目，并增加更多平台组件。

2020 年：毕业成为 Apache 顶级项目，社区、下载量、采用率增长超过 10 倍。

2021 年：支持 Uber 500PB 数据湖，SQL DML、Flink 集成、索引、元服务器、缓存。

1.3 Hudi特性

Ø 可插拔索引机制支持快速Upsert/Delete。
Ø 支持增量拉取表变更以进行处理。
Ø 支持事务提交及回滚，并发控制。
Ø 支持Spark、Presto、Trino、Hive、Flink等引擎的SQL读写。
Ø 自动管理小文件，数据聚簇，压缩，清理。
Ø 流式摄入，内置CDC源和工具。
Ø 内置可扩展存储访问的元数据跟踪。
Ø 向后兼容的方式实现表结构变更的支持。

1.4 使用场景

1）近实时写入

Ø 减少碎片化工具的使用。

Ø CDC 增量导入 RDBMS 数据。

Ø 限制小文件的大小和数量。

2）近实时分析

Ø 相对于秒级存储（Druid, OpenTSDB），节省资源。

Ø 提供分钟级别时效性，支撑更高效的查询。

Ø Hudi作为lib，非常轻量。

3）增量 pipeline

Ø 区分arrivetime和event time处理延迟数据。

Ø 更短的调度interval减少端到端延迟（小时 -> 分钟） => Incremental Processing。

4）增量导出

替代部分Kafka的场景，数据导出到在线服务存储 e.g. ES。

1.5 缺点

技术成熟度与稳定性：

尽管Hudi在处理大规模数据集时表现出色，但它仍然是一个相对较新的技术。因此，在实际应用中可能会遇到一些未被充分测试或发现的边缘情况和问题。
举例来说，在某些复杂的数据处理场景下，Hudi可能会出现性能瓶颈或数据一致性问题。这可能需要额外的开发和调试工作来解决，增加了技术实施的难度和成本。

学习曲线与社区支持：

由于Hudi是一个高级的数据处理框架，它具有一定的学习曲线。对于初学者或没有深入Hadoop和Spark生态系统经验的开发者来说，掌握和运用Hudi可能会比较困难。
此外，虽然Hudi已经成为Apache的顶级项目，并且社区正在不断发展，但相比于一些更成熟的技术，其社区支持和文档可能还不够完善。这可能导致开发者在遇到问题时难以快速找到解决方案。

性能开销：

Hudi提供了丰富的功能，如增量更新、删除和实时查询等，但这些功能可能会带来一定的性能开销。特别是在处理大规模数据集时，如果配置不当或优化不足，可能会导致处理速度下降或资源消耗增加。
例如，在某些情况下，使用Hudi的写时复制（Copy-On-Write）或读时合并（Merge-On-Read）策略可能会导致额外的I/O操作或计算开销，从而影响整体性能。

集成与兼容性挑战：

尽管Hudi设计为与Hadoop和Spark生态系统无缝集成，但在实际应用中可能会遇到与其他系统或工具的兼容性问题。这可能需要额外的开发工作来确保数据的顺畅流动和系统的稳定运行。
另外，随着技术的不断更新和演进，Hudi可能需要不断更新以适应新的环境和需求，这也可能带来额外的维护成本。