博客园
最新
热门
发布
日榜
周榜
月榜
从阿里、腾讯、字节、快手四大厂实践,看湖仓一体如何解决大数据核心痛点
四大互联网公司通过湖仓一体技术解决大数据处理三大困境:架构割裂、时效性瓶颈和成本治理难题。阿里妈妈采用Flink+Paimon实现毫秒级实时决策,腾讯视频通过Iceberg+StarRocks统一指标口径,字节跳动基于Hudi构建多引擎协同平台,快手利用Doris+Alluxio提升查询性能。
数据分析狮
发布于2025年04月17日
960
干货丨字节跳动基于 Apache Hudi 的湖仓一体方案及应用实践
本文介绍了字节跳动自研的湖仓一体存储方案,针对Lambda架构存在的实时/离线存储计算不统一等问题,基于Hudi数据湖框架扩展实时加速服务层(BTS),实现批流读写统一、秒级延迟可见。方案通过内存服务优化实时处理性能,支持多维分析、流批复用等场景,显著降低组件依赖与资源成本。未来计划提升并发写入、容灾能力及Kafka兼容性。该方案已通过火山引擎LAS产品对外开放。
数据分析狮
发布于2025年04月17日
387
基于 Doris 湖仓一体分析系统在快手的实践
快手等企业采用OLAP分析工具ClickHouse进行大规模数据处理,但面临数据冗余、同步延迟和治理成本高等问题。为此,团队基于Doris构建湖仓一体分析系统,优化元数据缓存、数据预热和自动物化功能,提升查询性能并实现消费驱动生产模式。新系统通过Alluxio缓存管理和Spark退避机制,平衡效率与稳定性,简化数据分析流程。
数据分析狮
发布于2025年04月17日
197
终于有人把“数据建模”讲清楚了!
数据建模是解决企业数据混乱问题的关键,通过结构化设计将业务映射为数据模型,确保数据可读、可用、可分析。数据模型是建模的结果,包含实体、关系和约束。建模过程分为概念建模、逻辑建模和物理建模三个阶段,常见方法包括范式建模(强调一致性)、维度建模(优化分析效率)和实体建模(抽象业务对象)。这些方法协同使用,为数据仓库建设和治理提供坚实基础。
数据模型
数据仓库
维度建模
qiushaohua
发布于2025年04月16日
104
Doris x Paimon湖仓一体建设技术要点
Doris与Paimon构建的湖仓一体方案聚焦查询加速与统一建模,支持多源数据接入与开放格式存储。通过IO优化、数据/元数据缓存及物化视图实现湖仓查询加速(TPCDS测试耗时仅为Trino的1/3),并提供异构数据源统一访问能力。数据处理层结合Flink+Paimon实现流批一体,Doris分层加工后支持数据回写,平衡性能与传统数仓生态。
Doris
数据湖
统一建模
MPP引擎
Paimon
数据分析狮
发布于2025年04月16日
247
如何写出高质量的提示词
本文系统讲解了与AI高效沟通的核心技能——提示词(Prompt)的写作方法,强调明确目标、提供具体细节、结构化表达等8大原则,通过案例展示如何在不同场景中最大化AI效能,并推荐实用工具帮助优化提示词。
AI应用开发社区
提示词技巧
工具推荐
我不是超人
发布于2025年04月15日
501
畅想描绘:多模态数据治理体系框架
多模态数据治理面临理论体系缺失、技术支撑不足、AI工具不完善及场景难挖掘等挑战,导致实施复杂性与成本增加。现有数据治理框架虽适用,但需融合AI技术与工程化实践。建议结合DAMA和DCMM构建多模态治理体系,通过‘自上而下’或‘自下而上’策略闭环推进,强调技术与业务协同。
DAMA框架
DCMM
多模态数据治理
数据质量
AI技术
数据分析狮
发布于2025年04月15日
243
NotepadAI智能笔记助手,效率直接翻倍!
NotepadAI是一款智能笔记助手,专为提升工作效率的学生和职场人士设计。它不仅继承Notepad++的代码编辑功能并支持自动语言识别,还可自定义常用AI操作如翻译、扩写、改写等,支持一键调用或发布到工具箱。用户可临时调用AI功能无需切换窗口,同时提供热门AI工具箱和便捷的分享导出功能,支持团队协作和跨平台使用。
AI应用开发社区
AI笔记
代码编辑
智能助手
效率工具
数据分析狮
发布于2025年04月10日
178
AI 提示词不会写?试试 PromptIDE
AI技术迅速改变工作方式,善用AI成为关键能力差距。PromptIDE作为AI提示词生成优化神器,帮助用户精准生成和调试提示词,提升AI输出质量10倍效率。支持一键测试优化,无需复杂部署,让AI真正听懂需求。
提示词优化
PromptIDE
AI工具
我不是超人
发布于2025年04月09日
121
在线Notepad智能笔记——你的全能AI创作助手
Notepad智能笔记是一款高效的知识管理工具,突破传统笔记软件的局限,提供多样化AI功能。支持自定义AI指令(如会议纪要生成、待办事项整理)、智能模板库(预设小红书文案等提示词)及文本快捷操作(翻译/润色),实现无缝工作流。一键分享链接和跨平台导出功能,大幅提升个人与团队协作效率。
AI应用开发社区
智能笔记
AI办公
效率工具
qiushaohua
发布于2025年04月03日
259
巨人对话上线啦!集多模型支持、内容分享、提示词管理于一体的智能对话工具
「巨人对话」是一款多功能的智能对话工具,支持文心大模型、DeepSeek、豆包等多个AI引擎,实现多模型自由切换与对比。提供对话内容一键分享与发布功能,便于团队协作与知识传播。内置提示词库和收藏夹,帮助用户高效管理和复用提示词,提升工作效率。
AI应用开发社区
多模型切换
协作工具
效率工具
智能对话
qiushaohua
发布于2025年04月02日
243
模型设计、数据架构、数据治理一体化大数据平台
本文从稳定、可信、丰富、透明四个维度探讨如何基于大数据平台构建新一代数据仓库,强调通过维度/实体关系建模、星型/雪花模型结合、三层扁平化架构(基础层-中间层-集市层)实现高效数据处理。数据架构需整合结构化/半结构化/非结构化数据,通过服务化输出统计、分析及标签服务。关键点包括虚拟节点应用、强制分区设计和数据全流程治理(质量监控+生命周期管理),最终形成高容错、低成本、强时效的数据体系。
数据仓库
数据治理
大数据平台
qiushaohua
发布于2025年04月02日
149
DeepSeek对面向人工智能的数据治理市场的影响到底有多大?
DG4AI(Data Governance for Artificial Intelligence)旨在将AI技术融入数据治理体系,提升治理效率与智能化水平。AI在元数据管理、数据分类、数据清洗等领域显著赋能,而像DeepSeek这样的开源工具则推动市场多元化与行业洗牌。未来,新兴技术如Manus等可能成为新引领者,个人从业者需持续学习与AI共进。
DG4AI
数据治理
数据清洗
数据分析狮
发布于2025年03月31日
185
提示词应用:IT模拟面试
本文介绍如何利用提示词技术开展高效的IT岗位模拟面试训练,帮助求职者在'金三银四'招聘季精准定位知识短板、提升表达与逻辑能力、掌握典型问题回答框架。通过角色设定为IT总监的模拟面试,评估候选人的技术能力、问题解决能力及对IT领域的理解深度。提示词工具支持多轮对话和即时反馈,使面试过程更专业化、高效化,助力求职者提升竞争力。
AI应用开发社区
模拟面试
IT求职
数据分析
数据分析狮
发布于2025年03月28日
203
AI时代的产品经理,都需要哪些硬性能力?
AI时代产品经理的角色从执行转向战略规划,思考占比提升至80%,AI工具接管重复性任务。人机协同中,AI辅助数据分析等执行工作,而产品经理聚焦需求洞察与决策。新时代要求产品经理具备行业深度与AI相关技能,B端需求增长显著。产品规划六步法强调从战略到任务的系统拆解,确保场景定义准确衔接功能与愿景。
AI产品经理
产品规划
B端产品
战略思维
我不是超人
发布于2025年03月28日
213
AI数据分析:一键生成数据分析报告
利用大模型和提示词工具,数据分析师可以一键生成高质量的可视化分析报告,显著提升效率。通过上传数据结构(如日期、会员ID、门店编号等),结合AI生成的分析维度,快速生成包含图表、文字分析和总结的HTML报告。这种方法不仅节省时间,还提供了直观、专业的数据洞察,帮助非技术背景用户轻松理解复杂数据,支持决策过程。未来,数据分析师需结合AI技术和业务思维,成为双核驱动型人才。
AI应用开发社区
数据分析狮
发布于2025年03月27日
677
AI数据分析:一键生成数据分析维度
DeepSeek 通过智能分析能力,帮助新零售企业的销售分析师自动识别多维销售数据中的关键特征,生成适合的分析维度,提升分析效率与精准度。借助 PromptIDE 工具生成提示词,大模型结合业务需求,提供全面的数据分析维度建议,减轻手动探索的负担。
AI应用开发社区
数据分析狮
发布于2025年03月25日
725
DG4AI:人工智能+数据治理,如何融合?
数据治理与人工智能的融合是通过AI技术提升数据治理效率和质量,同时利用数据治理框架确保AI应用的数据合规性、安全性和可解释性。重点领域包括数据质量优化、元数据管理、数据安全、数据资产化、合规隐私保护及伦理治理。DG4AI框架通过顶层设计、组织保障、工程建设和运营优化四个阶段实现数据与AI的双向赋能。
AI应用开发社区
数据质量
数据安全
数据治理
数据分析狮
发布于2025年03月24日
313
告别数据混乱:AI+标准如何让企业数据“活”起来?
AI技术的爆发式增长促使企业重新审视数据治理的价值。瓴羊Dataphin专家周鑫提出以数据标准为核心,贯穿数据全生命周期,通过AI+数据治理实现主动治理,降本增效。智能小D平台通过大模型为用户提供数据资产表,简化数据上架流程,提升治理效率。未来,Dataphin将迈向智能化,自动调整治理目标与策略,实现数据治理的自动化与智能化,助力企业将数据转变为业务增长的驱动力。
数据标准
数据治理
数据分析狮
发布于2025年03月21日
135
AI 驱动的数据分析:Data Agent
人工智能正在深刻影响知识工作,尤其是数据分析领域。生成式AI通过提升效率和创造力,有望创造数万亿美元的经济价值。数据分析市场快速增长,但面临标准缺失和工具不足的挑战。AI在数据建模、治理和精确分析中的应用,有望解决这些痛点。Data Agent通过自动化处理、智能发现和优化任务,帮助数据团队和业务用户更高效地利用数据,推动数据驱动决策。
Data Agent
数据治理
数据分析
数据分析狮
发布于2025年03月21日
167
1
32
33
34
35
36
83