京东物流实时湖仓建设基于Flink和StarRocks技术栈，解决复杂业务场景下的实时数据处理挑战。通过分层架构设计（ODS/DWD/ADS/APP）和联邦查询支持多业务域（仓储、供应链、金融等），实现分钟级数据分析。存算分离方案优化长周期数据存储成本，冷热数据分层存储于本地磁盘与云端OSS。

本文主要介绍了向量检索技术在腾讯大数据处理中的应用，包括语法设计、查询过程、查询优化和索引写入等方面的内容。同时，文章还介绍了自研索引库TenANN的实现和功能。

多点 DMALL 成立于2015年，持续深耕零售业，为企业提供一站式全渠道数字零售解决方案 DMALL OS。作为 DMALL OS 数字化能力的技术底座，大数据平台历经多次迭代平稳支撑了公司 To B 业务的快速开展。随着国家产业升级和云原生技术的成熟，平台架构也从存算一体逐步转向存算分离。本文将以 StarRocks 的升级演进为例，分享这一过程中的探索与实践。

StarRocks 集群运行几个月后崩溃，元数据很久未合并，恢复时发现 FE 元数据无法 Checkpoint。排查发现是配置 metadata_journal_skip_bad_journal_ids 导致，相关 bugfix 未合并进出问题版本，升级版本后解决，成功生成新 image 文件，BDB 文件数量大幅减少。

湖仓一体之paimon-flink-action同步数据到Paimon

本公众号面向广大数据科学家、工程师、产品经理以及对大数据感兴趣的各界人士，旨在搭建一个交流学习的平台，共同探索数据驱动的美好未来。 通过关注“大数据启示录”，您将获得： 最新资讯：紧跟大数据领域最新动态和技术进展。 深度文章：深入剖析复杂问题，提供有价值的参考意见。 社区互动：参与线上线下活动，结识志同道合的朋友。 欢迎订阅“大数据启示录”，让我们一起开启数据之旅！

本文将重点介绍如何利用物化视图进行查询改写。文章将全面介绍物化视图的基本原理、关键特性、应用案例、使用场景、代码细节以及主流大数据产品的物化视图改写能力对比。

Apache Flink 社区非常高兴地宣布，Flink CDC 3.2 系列的第一个稳定性修复版本 3.2.1 已经正式发布。

早期，同程旅行的数仓体系基于 Hive 来实现离线数据分析，在满足用户实时需求方面存在不足。为了解决这一问题，我们引入了 Apache Kudu 组件，将 ODS 层的数据同时写入 Hive 和 Kudu。由于 Kudu 不支持流式读取，我们通过 Spark 读取Kudu进行下游处理，以 10 分钟或 1 小时为周期调度任务，将处理后的数据写回 Kudu 表。

StarRocks 社区的年度盛会——StarRocks Summit Asia 2024 将于 12 月 7 日在北京隆重登场！ StarRocks 社区作为连接用户、平台方、业务方、技术爱好者与学术人员的开放平台，始终致力于打造标准化的行业解决方案，让每一位参与者都能在实践中汲取经验，在交流中碰撞创新。