更改数据捕获 （CDC） 是一种用于识别和捕获数据更改的技术，可确保数据在各种系统中保持新鲜和一致。将 CDC 与数据湖相结合，可以解决 ETL 管道将数据从事务数据库传送到分析数据库时通常面临的几个挑战，从而显著简化数据管理。其中包括保持数据新鲜度、确保一致性以及提高数据处理效率。本文将探讨数据湖和 CDC 之间的集成、它们的优势、实施方法、涉及的关键技术和工具、最佳实践以及如何选择适合需求的工

本文主要围绕ES核心特性：分布式存储特性和分析检索能力，介绍了概念、原理与实践案例，希望让读者快速理解ES的核心特性与应用场景。

一个能让你和数据库对话的软件，文本直接生成SQL和分析图表，Star 10K+！

Seatunnel-Web手把手安装部署文档

本文将分享货拉拉基于 tugraph-analytics 的实时业务数据异常归因诊断技术。 Tugraph-analytics 是蚂蚁开源的一个高性能流图计算引擎，支持万亿级数据的存储，具备图表混合处理、实时图计算，以及 OLAP 等核心能力。

大家好，我是来自 58 同城的包磊，于 18 年加入了 58，目前所在部门是 TEG-大数据科学中心-数据 BP 部。主要负责建立整个集团的用户数据体系，涵盖了流量、连接、用户画像等主题数仓的建设。

本次分享人为蚂蚁集团的王高航老师，分享题目为蚂蚁指标系统的设计与实践，王高航老师自 2016 年加入蚂蚁集团以来，一直在数据中台领域深耕。在此期间，参与了蚂蚁新老两代数据平台的研发并主导了多个核心子产品。目前，王高航老师负责蚂蚁数据中台的数据架构与治理、数据建模、资产管理、安全合规等产品的研发。

一个无损、实时的压缩算法，同时具备高压缩比率和性能，Star 23K！

抱歉，作为从 S2 开始的骨灰级玩家看到 EDG·UZI 官宣首发上线，兴奋之余忘了写文档 - -||，还望各位看官老爷见谅，这次错了，下次还敢 ^_^ 这是继上次的 30 问上篇的中篇，也是 10 个问题，有些还是比较难回答的，欢迎大家在评论区或者私聊我来进行 battle~

在前段时间和 Apache Doris 一个数据体量比较大的测试用户沟通过程中，对方的多达十几人的大数据架构师团队就关于 Apache Doris 的各种特性和自身业务场景提出了众多问题，个人感觉非常有探讨的价值，一起来看看，如果有异议或者意见，可以评论留言，也可以私聊~

【杭州活动邀请函】2024-08-25 | PowerData 数字经济-杭州开源行！

今天，我将和大家聊一聊联通数字科技有限公司是如何基于Apache DolphinScheduler构建DataOps一体化能力平台的。 今天的分享主要分为三个部分： 1.关于DataOps的一些思考； 2.企业在实施任务调度系统时的一些困境和困难； 3.我们基于Apache DolphinScheduler所做的一些改造。

现有的数据集成平台短板慢慢展现导致部分业务线无法快速对接。数据源的架构在变得繁多和复杂,数据应用也逐渐变得更加垂直和场景化，这也倒逼了现代数据架构飞速发展。从而数据集成已经从一项技术管理工作升级为系统工程。

在 AI 时代，DataOps 2.0 代表了一种全新的数据管理和操作模式，通过自动化数据管道、实时数据处理和跨团队协作，DataOps 2.0 能够加速数据分析和决策过程。它融合了人工智能和机器学习技术，使得数据的获取、清洗和分析更加高效，推动企业在快速变化的市场中保持竞争优势。

主要内容包括以下六大部分： 1. Apache SeaTunnel 项目介绍 2. Apache SeaTunnel 核心功能 3.SeaTunnel 在 OLAP 场景下的应用 4. 社区近期计划 5. WhaleTunnel 产品特性 6. 问答环节

Gartner:《数据中台在中国已经接近炒作的顶峰》 PowerData：接近顶峰？那就说明还有上升的空间嘛 本篇文章聊聊数据中台爆火背后的逻辑。

Apache Doris 作为一款 OLAP 实时数据仓库，在越来越多的中大型企业中逐步占据着主数仓这样的重要位置，主数仓不同于 OLAP 查询引擎的场景定位，对于数据的灾备恢复机制有比较高的要求，本篇就让我们全面的介绍和示范如何利用这些特性能力构建集群数据的灾备恢复机制。

Apache SeaTunnel作为一个高效、灵活的数据集成平台，在数据中台战略中扮演着重要角色。通过本文的介绍，读者可以了解如何基于SeaTunnel快速搭建数据集成平台，并在实际应用中灵活运用。未来，随着技术的不断发展，SeaTunnel将继续在数据集成领域发挥重要作用，助力企业实现数据驱动的业务变革。

大数据服务是数据平台建设的基座，随着B站业务的快速发展，其大数据的规模和复杂度也突飞猛进，技术的追求也同样不会有止境。 B站一站式大数据集群管理平台（BMR），在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。

近日，Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复，新增若干特性，并进行了众多改进和 Bug 修复，以及文档修复等