博客园

司马老师数据库系列讲座一干货7000字深度刨析HTAP技术架构关键技术和国内主流产品

本文介绍了程序猿读历史公众号中的文章《HTAP数据库架构类型、关键技术详解》。文章详细解读了HTAP数据库的四大架构类型和五大关键技术,包括事务处理、分析处理、数据同步和查询优化等技术。此外,文章还介绍了国内主流HTAP产品的发展状况。本文旨在帮助读者了解HTAP数据库的技术细节和发展趋势。
头像海星之梦 发布于2025年01月11日
303

基于Kyuubi实现分布式FlinkSQL网关

本文介绍了基于Kyuubi实现分布式Flink SQL网关的分享,包括Kyuubi是什么、架构设计、Flink与Kyuubi的优势等。Kyuubi作为分布式多租户SQL网关,具有水平拓展、多租户、高可用、多版本和动态资源配置等优势,可优化Flink的Application模式,提高实时计算和流批一体的性能。
头像海星之梦 发布于2025年01月11日
289

初识滴滴交易策略之一交易市场

滴滴技术初识系列介绍滴滴交易市场的技术特点与挑战。包括交易市场的本质和网络效应、滴滴交易市场的技术特点、机制设计、决策智能、运筹学、强化学习和因果推断等技术领域的探讨。旨在帮助读者了解滴滴技术背后的原理和应用。
头像滴滴 发布于2025年01月11日
283

AI算法在大数据治理中的应用

针对大数据SQL查询任务,不同执行引擎适合不同场景。为提高查询效率和资源利用率,需智能选择执行引擎。通过模型学习历史任务数据,推荐最适合的引擎,提高查询效率和资源利用率。
头像忆往昔 发布于2025年01月10日
208

一文读懂如何处理缓慢变化的维度SCD

本文主要介绍了使用DeltaLake框架实现缓慢变化的维度的三种方法:SCDType1、SCDType2和SCDType3。每种方法都有其特点和适用场景,其中SCDType2和SCDType3能够更好地处理维度数据的变更,同时保留历史记录。文章详细解释了每种方法的实现过程和优缺点。
头像忆往昔 发布于2025年01月10日
285

一个一键即可生成SSL证书的工具零配置从此告别繁琐Star46K

mkcert是一个生成本地HTTPS加密证书的工具,只需一个命令即可生成证书,无需任何配置。通过mkcert可以轻松创建自签证书,实现HTTPS访问。本文介绍了mkcert的安装和使用方法,包括生成证书、配置nginx和安装CA证书等步骤。
头像车车 发布于2025年01月10日
329

一个一键制作证件照项目简单高效再也不用为临时准备证件照发愁了2天暴涨5KStar

相信每个人都遇到过急需证件照,但手头还没有的尴尬处境。前段时间,我有个项目突然急需个人证件照,而且点名需要1寸的。去实体店拍摄证件照是件麻烦的事。为了制作证件照,很多时候我们都是寻找各种在线证件照制作工具。但往往发现效果不咋地,还一堆广告,要不就必须开通会员才能去水印或者下载。最后无奈,只能手动PS...
头像车车 发布于2025年01月10日
294

一个PDF转Markdown工具高精准识别自动去干扰元素和LLM更配哦Star15K

Marker是一个开源的PDF转换Markdown工具,利用深度学习技术高精度转换PDF为Markdown格式。它支持多种语言,自动去除页眉页脚等非内容元素,并能处理表格、代码块和图像。本文介绍了Marker的安装、配置和使用方法,并展示了其实际效果。测试结果显示,Marker能够高效地将PDF转换为Markdown格式,提高文档的可读性和使用效率。
头像车车 发布于2025年01月10日
757

什么是数据标准?如何做好数据标准管理落地?

本文介绍了数据标准的概念和管理对象分类,阐述了数据标准管理的重要性,构建了数据标准的组织架构,并探讨了数据标准的落地实施问题。通过实例说明,建立数据标准体系框架对于提升数据质量、促进数据共享和流通具有重要意义。
头像滴滴 发布于2025年01月08日
272

什么是数据资产入表?

数据资产入表是将企业数据资源以资产形式纳入财务报表的管理和计量过程。有助于提升企业的数据资产运营和变现能力,促进数据流通和使用,展现数字经济实力。通过数据资产清点、分类、评估、治理、管理和利用等步骤实现。数据资产入表有助于企业更好地了解自身数据规模、质量和价值,制定更合理的数据策略,挖掘数据价值。
头像滴滴 发布于2025年01月08日
125

数据资产入表全流程操作指南

数据资产入表是企业将数据资源纳入财务报表管理和计量的过程,有助于提升数据资产运营和变现能力。实施数据治理是激活数据要素价值的基础工程。本文介绍了数据资产入表的相关概念、实施准备、数据治理的流程和要点,包括顶层设计、技术体系、数据服务和洞察等方面,旨在为企业提供方法论和思路参考。
头像滴滴 发布于2025年01月08日
120

Apache Celeborn 在多点 DMALL 的云原生实践

本文介绍了多点DMALL在大数据架构变迁中引入Apache Celeborn的过程和升级演化。通过引入Celeborn解决Shuffle数据处理问题,采用存算分离方案构建云原生大数据集群。文章还提到了版本跟踪升级、从on Premises到on Kubernetes的转型、从Hostpath到PVC的过渡以及BestEffort带来的不稳定问题等解决方案。
头像滴滴 发布于2025年01月08日
274

BigDecimal多线程做除法异常

本文介绍了BigDecimal除法运算中精度的正确设置方式,并演示了不同处理方式在多线程环境下的影响,强调了异常处理的必要性。
头像图南 发布于2025年01月08日
138

如何在JavaScript中实现字符串模板替换

介绍JavaScript中实现字符串模板替换的多种方法,包括基础技术和高级应用。通过示例演示不同方法的实现和使用场景,提供功能使用思路和开发技巧分析。
实现
头像梦想家 发布于2025年01月08日
180

算法工程师的技术路线图

本文为算法工程师的技术路线图指南,涵盖工程基础、算法基础、算法工程交叉和工程深入方向等内容。推荐学习路线包括编程语言、计算机语言理论、操作系统、软件工程和高级话题等。自我考核项包括代码质量、设计模式、质量保障和项目管理等方面。
头像蛇年大吉 发布于2025年01月04日
282

Transformer动画讲解 - Transformer工作原理

本文详细解释了GPT模型的核心——Transformer的工作原理,包括向量化、注意力机制、多层感知机和模型输出四个阶段。文章还介绍了Transformer在多模态数据处理中的角色。
AI应用开发社区
头像忆往昔 发布于2025年01月04日
231

一文彻底搞懂大模型 - RAG(检索、增强、生成)

本文介绍了RAG(检索增强生成)的原理和工作流程,包括其结合信息检索技术与语言生成模型的能力。通过检索模块和生成模块的协同工作,RAG能够实现基于外部知识增强的自然语言生成能力。文章还提到了RAG在知识问答系统中的应用及其优势。
AI应用开发社区
头像忆往昔 发布于2025年01月04日
605

RPA和Agent智能体区别应用场景

在当今快节奏的数字化时代,企业面临着日益复杂的业务流程和不断增长的效率挑战。而 RPA,即机器人流程自动化,正以其强大的实力成为企业变革的关键驱动力。
AI应用开发社区
头像忆往昔 发布于2025年01月04日
238

2025 AI深度前瞻:推理成本暴降90%,智能体迎GPT时刻,空间智能涌现

走出最后一个AI寒冬,21世纪第三个十年见证了现代AI的诞生。 斯坦福大学教授、“AI教母”李飞飞将当前AI领域的变化描述为科技领域的“寒武纪大爆发”。回顾过去一年,Scaling Law驱动的新范式开始告别参数规模崇拜;多模态AI生成能力涌现多个爆款应用,打开了全新的竞速空间,也为即将到来的2025年带来了诸多可能性。
AI应用开发社区
头像春风得意 发布于2025年01月03日
151

Apache Celeborn 在B站的生产实践

随着B站业务的飞速发展,数据规模呈指数级增长,计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务,大数据系统的高效性与稳定性成为公司业务发展的重要基石。
头像海星之梦 发布于2025年01月03日
485
1 383940414283

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

©2023-2026 - 巨人肩膀 - 粤ICP备2025395551号-1