Hadoop 体系虽然在目前应用非常广泛，但架构繁琐、运维复杂度过高、版本升级困难，且由于部门原因，数据中台需求排期较长，我们急需探索敏捷性开发的数据平台模式。

文章介绍了基于 Apache Calcite 的多引擎指标管理的技术原理与最佳实践，包括指标管理的常见方式、指标管理的最佳实践、指标管理的实现原理以及指标管理在字节跳动未来的一些规划，重点阐述了指标管理在业内常见的解决方案与字节内部使用的一套 SQL 两种语法多引擎指标管理方案的异同；字节内部如何使用一套 SQL 两种语法实现降本增效以及指标管理技术的具体实现方案。

Calcite 是什么？如果用一句话形容 Calcite，Calcite 是一个用于优化异构数据源的查询处理的基础框架。 最近十几年来，出现了很多专门的数据处理引擎。例如列式存储 (HBase)、流处理引擎 (Flink)、文档搜索引擎 (Elasticsearch) 等等。这些引擎在各自针对的领域都有独特的优势，在现有复杂的业务场景下，我们很难只采用当中的某一个而舍弃其他的数据引擎。.....

Flink SQL Connector生成工具支持根据不同数据源和连接方式可视化生成Flink SQL，目前支持的数据源类型有：Doris、MySQL、Kafka，支持的连接方式有JDBC、CDC。

flink入门系列

杀疯了，七款 IntelliJ IDEA 智能AI编码工具插件，都是编程利器！

通义灵码，是阿里云出品的一款基于通义大模型的智能编码辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云的云服务使用场景调优，助力开发者高效、流畅的编码。

地铁短文

Flink入门系列2 map flatmap算子使用

Data lake这个术语由Pentaho公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)提出，他对数据湖的解释是： 把你以前在磁带上拥有的东西倒入到数据湖，然后开始探索该数据。重要的只把需要的数据倒入到Hadoop;如果你想结合来自数据湖的信息和客户关系管理系统（CRM）里面的信息，我们就进行连接，只有需要时才执行这番数据结合。

本文将从数据分析的发展历程和面临的问题，引出为什么需要通过指标去解决这些问题，并分享滴普科技指标中台的核心能力以及技术实践。 全文目录： 1. 现代数据分析的趋势及现状 2. 通过指标实现敏捷高效数据分析 3. 指标中台核心能力及技术实践 4. 结语 5. Q&A

指标平台，这个概念现在很火，小伙伴让来讲下，本文就来说说这个概念，以及这个概念在目前一些 BI 体系下，可以怎么结合。

本文将介绍理想汽车在 Flink on K8s 的数据集成落地实践。 分享分为四个部分： 1. 理想数据集成的发展与现状 2. 数据集成的落地实践 3. 数据集成云原生的落地实践 4. 未来规划

本次分享将围绕以下四个方面展开： 1. 蚂蚁实时数仓架构 2. 实时数据质量保障 3. 流批一体应用 4. 数据湖落地展望

导读：随着业务在金融、保险和商城领域的不断扩展，众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合，这不仅导致数据分析形成数据孤岛，还带来高昂的管理及维护成本。为解决该问题，众安保险引入 Apache Doris，替换了早期复杂的技术组合，不仅降低了系统的复杂性，打破了数据孤岛，更提升了数据处

基于apache-doris-2.0.5版本进行集群部署

通过说明性的、外行人友好的示例，帮助开发 Apache Hudi 数据Lakehouse的清晰直觉，以及它给沃尔玛数据组织带来的明显好处，Ayush 和 Ankur 彻底解释了该系统的工作原理及其带来的巨大好处可以赋予数据组织。

本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳，在 FFA 实时风控专场的分享。本篇内容主要分为五个部分：点击查看直播回放 & 演讲PPT众所周知，网易互娱的核心业务之一是线上互动娱乐应用服务，比如大家耳熟能详的梦幻西游、阴阳师等都是网易互娱的产品。不管是游戏产品还是其他应用，都需要做出好的内容来吸引用户进行应用内购买，进而产生盈利。

linux内核常用调优参数。

目前常见的大数据告警系统更多是基于SparkStreaming+Drools,其实时性是基于微批实现时延相对较高，不支持广播流告警规则的更新只能依赖于广播变量定时更新，且不支持状态计算将不得不引入外部存储如Redis因此降低了系统的吞吐量同时也增大了系统的复杂度。新一代的分布式处理引擎Flink是基于事件驱动且可进行状态计算，大大提高了数据处理能力和简化了平台的复杂度。