博客园

计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台

灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 Apache Doris 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍 的显著成效。
头像数智先锋 发布于2025年01月02日
126

Doris之旅基础篇|开篇介绍(一)

Doris 2025年最新的官方课程及培训认证体系即将推出,狠狠期待! 正式发布之前,先来个一臻2024的老课预热预热... 今天一起了解下Doris之旅基础篇章、Doris的发展、应用场景和技术架构特点。
介绍
头像张彬华 发布于2025年01月02日
150

万字长文:Comprehensive Data Catalog Comparison

Catalog,中文翻译“数据目录”,从字面意思上可以看出,它就像一个可搜索的数据集目录,类似于图书馆目录对书籍的整理方式。广义上讲,数据目录是组织内数据资产的清单。它能帮助用户发现、理解和管理可供使用的数据。数据目录通常包含元数据(关于数据的信息),如数据源、描述、所有者、质量指标、血缘关系和访问控制。
头像滴滴 发布于2025年01月02日
601

【司马老师数据库系列讲座一】干货,7000字深度刨析 HTAP 技术架构、关键技术和国内主流产品

2014年,Gatner 提出了 HTAP ¹(Hybrid Transaction and Analytical Process)混合事务和分析处理,既能支持在线事务处理 OLTP,又能支持在线分析处理 OLAP。
头像车车 发布于2025年01月02日
119

Celeborn Spark 集成最新进展

目前,Celeborn 已成为最受欢迎的 Remote Shuffle Service。许多国内外大厂已经在使用 Celeborn,除了阿里云、小红书、B站、Shopee、蔚来等已经登记的用户,也有部分用户出于各种因素暂未正式登记。
头像车车 发布于2025年01月02日
534

年终长文15000字:学习的终结(The End of Learning)——从ChatGPT到未来

在历史长河的一隅,从远古时代祖先传承火种的教导,到现代互联网无垠知识的星辰大海,学习一直是人类不可或缺的生存技巧。
AI应用开发社区
头像忆往昔 发布于2025年01月01日
126

惊险一刻!2024跨年夜里:数据中心突然宕机,Doris CCR却让客户毫无察觉

惊险一刻!2024跨年夜里:数据中心突然宕机,Doris CCR却让客户毫无察觉
介绍深度解析集群运维
头像张彬华 发布于2024年12月31日
278

【HarmonyOS NEXT】鸿蒙 ArkTS 进行RSA数据加密

鸿蒙
头像能不忆江南 发布于2024年12月30日
208

【HarmonyOS NEXT】 ArkUI常用布局及组件库介绍

鸿蒙
头像能不忆江南 发布于2024年12月30日
240

【HarmonyOS NEXT】一多开发介绍(断点、媒体查询、栅格布局)

鸿蒙
头像能不忆江南 发布于2024年12月30日
192

【HarmonyOS NEXT】lv-markdown-in 三方库用法说明

鸿蒙
头像能不忆江南 发布于2024年12月30日
175

解决Redis缓存数据类型丢失问题

文章讲述在通用数据开放平台中,新接口开启缓存后报错,经排查是 Redis 缓存数据类型丢失所致。分析发现问题源于 Redis 序列化和反序列化,最终通过自定义序列化器解决,即在写入和读取时处理 Date 类型,同时指出当前判断逻辑有待优化。
头像图南 发布于2024年12月30日
238

paimon-flink-action同步数据到Paimon

湖仓一体之paimon-flink-action同步数据到Paimon
头像林深见鹿 发布于2024年12月30日
921

Flink CDC+Dinky整库同步到paimon

湖仓一体之Flink CDC+Dinky整库同步到paimon
头像林深见鹿 发布于2024年12月30日
494

如何解决Flink广播流滞后于数据流抵达问题

flink专业问题咨询和解决
头像林深见鹿 发布于2024年12月30日
223

dolphinscheduler集群服务一键安装启动实现流程剖析

dolphinscheduler-3.2.2-release版本源码系列,帮助大家深入了解和更好的使用Dolphinscheduler整合现有业务开发。
头像如风掠过指尖 发布于2024年12月27日
314

dolphinscheduler服务RPC框架源码解析(一)RPC框架整体设计

dolphinscheduler-3.2.2-release版本源码系列之RPC框架专栏,帮助大家深入了解和更好的使用Dolphinscheduler整合现有业务开发。
头像如风掠过指尖 发布于2024年12月27日
356

美国陆军统一数据参考架构

美国陆军当前的数据架构过于复杂,严重阻碍了该军种的决策优势。为应对这一挑战,美国陆军于2024年3月22日正式发布了《美国陆军统一数据参考架构》1.0版本,旨在简化数据架构,精简数据产品,促进其与任务伙伴共享数据产品。该文件所定义的统一数据参考架构,为数据网格原则的系统级实施提供了指导,将使美国陆军的数据治理更高效、更有效,同时促进美国陆军采办“以数据为中心”的能力,提高美国陆军作为联盟、联合作战
头像车车 发布于2024年12月24日
302

Flink八种分区算子

Flink是一个流处理框架,一个Flink-Job由多个Task/算子构成,逻辑层面构成一个链条,同时Flink支持并行操作,每一个并行度可以理解为一个数据管道称之为SubTask。
头像忆往昔 发布于2024年12月20日
268

深入解析 StarRocks 物化视图:全方位的查询改写机制

本文将重点介绍如何利用物化视图进行查询改写。文章将全面介绍物化视图的基本原理、关键特性、应用案例、使用场景、代码细节以及主流大数据产品的物化视图改写能力对比。
头像蛇年大吉 发布于2024年12月19日
256
1 394041424383

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

©2023-2026 - 巨人肩膀 - 粤ICP备2025395551号-1