数据中台经常会用到组件管理平台，一个常见的组件管理平台Ambari是一个apache 顶级开源项目，旨在为Hadoop及其相关生态系统（如Hive、Hbase、Sqoop、Zookeeper等）提供更易于使用的工具。

Data lake这个术语由Pentaho公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)提出，他对数据湖的解释是： 把你以前在磁带上拥有的东西倒入到数据湖，然后开始探索该数据。重要的只把需要的数据倒入到Hadoop;如果你想结合来自数据湖的信息和客户关系管理系统（CRM）里面的信息，我们就进行连接，只有需要时才执行这番数据结合。

本文将从数据分析的发展历程和面临的问题，引出为什么需要通过指标去解决这些问题，并分享滴普科技指标中台的核心能力以及技术实践。 全文目录： 1. 现代数据分析的趋势及现状 2. 通过指标实现敏捷高效数据分析 3. 指标中台核心能力及技术实践 4. 结语 5. Q&A

指标平台，这个概念现在很火，小伙伴让来讲下，本文就来说说这个概念，以及这个概念在目前一些 BI 体系下，可以怎么结合。

数据资产治理是大数据应用中的重要一环。有效的数据治理可以降本增效，提升数据利用效率。数据治理还需要平台化工具来辅助。本文将介绍滴滴出行在大数据资产治理方面的实践。 今天的介绍会围绕下面五方面展开： 1. 滴滴大数据资产管理平台 2. Hadoop 治理实践 3. ES 治理实践 4. 未来规划 5. 问答环节

本文将介绍理想汽车在 Flink on K8s 的数据集成落地实践。 分享分为四个部分： 1. 理想数据集成的发展与现状 2. 数据集成的落地实践 3. 数据集成云原生的落地实践 4. 未来规划

本次分享将围绕以下四个方面展开： 1. 蚂蚁实时数仓架构 2. 实时数据质量保障 3. 流批一体应用 4. 数据湖落地展望

flink入门系列

导读：随着业务在金融、保险和商城领域的不断扩展，众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合，这不仅导致数据分析形成数据孤岛，还带来高昂的管理及维护成本。为解决该问题，众安保险引入 Apache Doris，替换了早期复杂的技术组合，不仅降低了系统的复杂性，打破了数据孤岛，更提升了数据处

基于apache-doris-2.0.5版本进行集群部署

实时大数据分析是企业决策的关键，可以让企业获得实时反馈，及时调整策略。Apache Flink 流计算加上 OLAP 系统的组合可以让部分数据实时流动、实时更新、实时查询可见。但是，维护流批两套架构带来的成本、流批割裂、数据封闭等问题，还有大量离线数据无法迁移到实时分析的链路中。

通过说明性的、外行人友好的示例，帮助开发 Apache Hudi 数据Lakehouse的清晰直觉，以及它给沃尔玛数据组织带来的明显好处，Ayush 和 Ankur 彻底解释了该系统的工作原理及其带来的巨大好处可以赋予数据组织。

本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳，在 FFA 实时风控专场的分享。本篇内容主要分为五个部分：点击查看直播回放 & 演讲PPT众所周知，网易互娱的核心业务之一是线上互动娱乐应用服务，比如大家耳熟能详的梦幻西游、阴阳师等都是网易互娱的产品。不管是游戏产品还是其他应用，都需要做出好的内容来吸引用户进行应用内购买，进而产生盈利。

摘要：本文整理自京东风控数据产品组架构师周文跃，在 FFA 2022 实时风控专场的分享。本篇内容主要分为六个部分：点击查看直播回放 & 演讲PPT 京东集团在 2007 年开始自建物流，是国内领先的以技术驱动的供应链解决方案及物流供应商，一体化的供应链物流是我们的核心赛道。京东物流风控场景主要概括为两种，一种是货品安全，如货物丢失、破损等。另一种是交易风险，主要包括财务支出的一些风控场景。这两种

linux内核常用调优参数。

目前常见的大数据告警系统更多是基于SparkStreaming+Drools,其实时性是基于微批实现时延相对较高，不支持广播流告警规则的更新只能依赖于广播变量定时更新，且不支持状态计算将不得不引入外部存储如Redis因此降低了系统的吞吐量同时也增大了系统的复杂度。新一代的分布式处理引擎Flink是基于事件驱动且可进行状态计算，大大提高了数据处理能力和简化了平台的复杂度。

企业数字化转型核心目的是利用数字化技术让业务在线，利用大数据、快数据等技术充分挖掘数据价值，驱动业务的创新性发展，从而创造或重构一个新的商业模式，以适应不断变化的市场。 多数企业在数字化转型投入大量的财力人力物力之后，仍然遭遇到失败延迟或预期降低的情况。为什么企业数字化转型往往后劲力量越来越薄弱，无法达到预期效果，问题可能出在根基上。

Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通，以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。 作为计算中间件，Link

Apache Doris 可以取代 ClickHouse、MySQL、Presto 和 HBase，因为它在数据处理管道上拥有全面的功能集合。在数据摄取方面，基于对 Flink CDC 和 Merge-on-Write 的支持，实现了低延迟实时写入。通过其标签机制和事务加载来保证 Exactly-Once 写入。在数据查询方面，它同时支持星型模式和平面表聚合，因此在麻烦的多表连接和大型单表查询中都

ClickHouse 是Yandex开源的一个用于实时数据分析的基于列存储的数据库，其处理数据的速度比传统方法快100-1000 倍。 ClickHouse的性能超过了目前市场上可比的面向列的 DBMS，每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据。