本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳，在 FFA 实时风控专场的分享。本篇内容主要分为五个部分：点击查看直播回放 & 演讲PPT众所周知，网易互娱的核心业务之一是线上互动娱乐应用服务，比如大家耳熟能详的梦幻西游、阴阳师等都是网易互娱的产品。不管是游戏产品还是其他应用，都需要做出好的内容来吸引用户进行应用内购买，进而产生盈利。

摘要：本文整理自京东风控数据产品组架构师周文跃，在 FFA 2022 实时风控专场的分享。本篇内容主要分为六个部分：点击查看直播回放 & 演讲PPT 京东集团在 2007 年开始自建物流，是国内领先的以技术驱动的供应链解决方案及物流供应商，一体化的供应链物流是我们的核心赛道。京东物流风控场景主要概括为两种，一种是货品安全，如货物丢失、破损等。另一种是交易风险，主要包括财务支出的一些风控场景。这两种

linux内核常用调优参数。

目前常见的大数据告警系统更多是基于SparkStreaming+Drools,其实时性是基于微批实现时延相对较高，不支持广播流告警规则的更新只能依赖于广播变量定时更新，且不支持状态计算将不得不引入外部存储如Redis因此降低了系统的吞吐量同时也增大了系统的复杂度。新一代的分布式处理引擎Flink是基于事件驱动且可进行状态计算，大大提高了数据处理能力和简化了平台的复杂度。

企业数字化转型核心目的是利用数字化技术让业务在线，利用大数据、快数据等技术充分挖掘数据价值，驱动业务的创新性发展，从而创造或重构一个新的商业模式，以适应不断变化的市场。 多数企业在数字化转型投入大量的财力人力物力之后，仍然遭遇到失败延迟或预期降低的情况。为什么企业数字化转型往往后劲力量越来越薄弱，无法达到预期效果，问题可能出在根基上。

Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通，以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。 作为计算中间件，Link

Apache Doris 可以取代 ClickHouse、MySQL、Presto 和 HBase，因为它在数据处理管道上拥有全面的功能集合。在数据摄取方面，基于对 Flink CDC 和 Merge-on-Write 的支持，实现了低延迟实时写入。通过其标签机制和事务加载来保证 Exactly-Once 写入。在数据查询方面，它同时支持星型模式和平面表聚合，因此在麻烦的多表连接和大型单表查询中都

ClickHouse 是Yandex开源的一个用于实时数据分析的基于列存储的数据库，其处理数据的速度比传统方法快100-1000 倍。 ClickHouse的性能超过了目前市场上可比的面向列的 DBMS，每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据。

数据治理、数据管理、数据资产管理，有什么不同？这是一个我被问的最多的问题。

中台是真正为前台而生的平台（可以是技术平台，业务能力甚至是组织机构），它存在的唯一目的就是更好的服务前台规模化创新，进而更好的响应服务引领用户，使企业真正做到自身能力与用户需求的持续对接。

快手大数据分析平台，作为一个数据输出平台，对于用户而言，面临的挑战主要包括： 性能分析难：不清楚耗时在哪个环节，平台对用户来说是黑盒的；不了解数据消费用户的查询特征；性能波动难以归因。 优化门槛高：需要很强的知识背景，很强的专业领域性，而分析用户通常是小白用户无法自己进行分析和优化。 平台方面，也面临一些挑战： 分析复杂度高：30%以上的复杂分析，包含同环比、占比、LOD分析等； 引擎查询复杂度高

首先 Amoro 是湖仓管理系统，这里我们借鉴了数据库管理系统的叫法，可能很多同学乍一听会觉得管理系统会类似于实时计算、离线开发一类的工具平台，这里我稍稍做个澄清：工具的目标是帮助用户更高效、便利地执行某种流程，而Amoro 的目标是将一些流程向用户屏蔽，交给用户一个黑盒，他的定位更多是一个基础软件，所以 Amoro 的 MS 类似于 DBMS 中的 MS，我们经常讲一句话：build a box

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体验。

1w+ 字深入解读 Flink SQL 实现流处理的核心技术！

总而言之，这一讲话的很多理念，从优先经济发展的决心，到进一步开放市场和欢迎跨国企业继续在华投资，特别是关于高质量增长和可持续发展，与梅赛德斯-奔驰的理念不谋而合。我们将会进一步在中国加大投入，在华发展，与华共进。

平安银行五位一体，做零售金融的领先银行，五位一体是由开放银行、AI 银行、远程银行、线下银行、综合化银行协同构建的数据化、智能化的零售客户经营模式，这套模式以数据为基础，AI 为内核，通过画像识别，基于场景数据分析，通过高效组织内部资源，为客户提供精准服务，实现零售转型业务增长的第二曲线。 通过颠覆传统“以产品为中心”模式，真正实现以客户为中心、以 AI 、大数据为驱动，以 KYC/KYP/KYA

当前，工业企业产生的数据与日俱增，如何利用大数据为企业产生驱动力、竞争力成为工业企业面临的重要问题。工业企业大数据平台建设的总体思路是将现有PLC、MES、ERP、CRM、SRM、SCM、电子商务及财务共享服务等信息系统的业务数据，采用大数据技术，抽取到全业务数据中心，建立逻辑关联，整合成大数据仓库。

4.各厂商的数据湖解决方案 5.典型的数据湖应用场景 6.数据湖建设的基本过程 7.总结

1.什么是数据湖 2.数据湖的基本特征 3.数据湖基本架构

今天，跟大家分享一下kafka 的存储机制及如何根据 offset 查找消息的。