博客园
最新
热门
发布
日榜
周榜
月榜
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 Apache Doris 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍 的显著成效。
数智先锋
发布于2025年01月02日
126
Doris之旅基础篇|开篇介绍(一)
Doris 2025年最新的官方课程及培训认证体系即将推出,狠狠期待! 正式发布之前,先来个一臻2024的老课预热预热... 今天一起了解下Doris之旅基础篇章、Doris的发展、应用场景和技术架构特点。
介绍
张彬华
发布于2025年01月02日
150
万字长文:Comprehensive Data Catalog Comparison
Catalog,中文翻译“数据目录”,从字面意思上可以看出,它就像一个可搜索的数据集目录,类似于图书馆目录对书籍的整理方式。广义上讲,数据目录是组织内数据资产的清单。它能帮助用户发现、理解和管理可供使用的数据。数据目录通常包含元数据(关于数据的信息),如数据源、描述、所有者、质量指标、血缘关系和访问控制。
滴滴
发布于2025年01月02日
601
【司马老师数据库系列讲座一】干货,7000字深度刨析 HTAP 技术架构、关键技术和国内主流产品
2014年,Gatner 提出了 HTAP ¹(Hybrid Transaction and Analytical Process)混合事务和分析处理,既能支持在线事务处理 OLTP,又能支持在线分析处理 OLAP。
车车
发布于2025年01月02日
119
Celeborn Spark 集成最新进展
目前,Celeborn 已成为最受欢迎的 Remote Shuffle Service。许多国内外大厂已经在使用 Celeborn,除了阿里云、小红书、B站、Shopee、蔚来等已经登记的用户,也有部分用户出于各种因素暂未正式登记。
车车
发布于2025年01月02日
534
年终长文15000字:学习的终结(The End of Learning)——从ChatGPT到未来
在历史长河的一隅,从远古时代祖先传承火种的教导,到现代互联网无垠知识的星辰大海,学习一直是人类不可或缺的生存技巧。
AI应用开发社区
忆往昔
发布于2025年01月01日
126
惊险一刻!2024跨年夜里:数据中心突然宕机,Doris CCR却让客户毫无察觉
惊险一刻!2024跨年夜里:数据中心突然宕机,Doris CCR却让客户毫无察觉
介绍
深度解析
集群运维
张彬华
发布于2024年12月31日
278
【HarmonyOS NEXT】鸿蒙 ArkTS 进行RSA数据加密
鸿蒙
能不忆江南
发布于2024年12月30日
208
【HarmonyOS NEXT】 ArkUI常用布局及组件库介绍
鸿蒙
能不忆江南
发布于2024年12月30日
240
【HarmonyOS NEXT】一多开发介绍(断点、媒体查询、栅格布局)
鸿蒙
能不忆江南
发布于2024年12月30日
192
【HarmonyOS NEXT】lv-markdown-in 三方库用法说明
鸿蒙
能不忆江南
发布于2024年12月30日
175
解决Redis缓存数据类型丢失问题
文章讲述在通用数据开放平台中,新接口开启缓存后报错,经排查是 Redis 缓存数据类型丢失所致。分析发现问题源于 Redis 序列化和反序列化,最终通过自定义序列化器解决,即在写入和读取时处理 Date 类型,同时指出当前判断逻辑有待优化。
图南
发布于2024年12月30日
238
paimon-flink-action同步数据到Paimon
湖仓一体之paimon-flink-action同步数据到Paimon
林深见鹿
发布于2024年12月30日
921
Flink CDC+Dinky整库同步到paimon
湖仓一体之Flink CDC+Dinky整库同步到paimon
林深见鹿
发布于2024年12月30日
494
如何解决Flink广播流滞后于数据流抵达问题
flink专业问题咨询和解决
林深见鹿
发布于2024年12月30日
223
dolphinscheduler集群服务一键安装启动实现流程剖析
dolphinscheduler-3.2.2-release版本源码系列,帮助大家深入了解和更好的使用Dolphinscheduler整合现有业务开发。
如风掠过指尖
发布于2024年12月27日
314
dolphinscheduler服务RPC框架源码解析(一)RPC框架整体设计
dolphinscheduler-3.2.2-release版本源码系列之RPC框架专栏,帮助大家深入了解和更好的使用Dolphinscheduler整合现有业务开发。
如风掠过指尖
发布于2024年12月27日
356
美国陆军统一数据参考架构
美国陆军当前的数据架构过于复杂,严重阻碍了该军种的决策优势。为应对这一挑战,美国陆军于2024年3月22日正式发布了《美国陆军统一数据参考架构》1.0版本,旨在简化数据架构,精简数据产品,促进其与任务伙伴共享数据产品。该文件所定义的统一数据参考架构,为数据网格原则的系统级实施提供了指导,将使美国陆军的数据治理更高效、更有效,同时促进美国陆军采办“以数据为中心”的能力,提高美国陆军作为联盟、联合作战
车车
发布于2024年12月24日
302
Flink八种分区算子
Flink是一个流处理框架,一个Flink-Job由多个Task/算子构成,逻辑层面构成一个链条,同时Flink支持并行操作,每一个并行度可以理解为一个数据管道称之为SubTask。
忆往昔
发布于2024年12月20日
268
深入解析 StarRocks 物化视图:全方位的查询改写机制
本文将重点介绍如何利用物化视图进行查询改写。文章将全面介绍物化视图的基本原理、关键特性、应用案例、使用场景、代码细节以及主流大数据产品的物化视图改写能力对比。
蛇年大吉
发布于2024年12月19日
256
1
39
40
41
42
43
83