• AI编程
  • AI应用开发
  • AI大世界
  • Flink
  • Doris
  • SeaTunnel
  • 数据分析
  • Dolphinscheduler
  • StarRocks
  • 车联网
  • PowerData
  • 用户画像
  • Dinky
  • Kafka
  • Hive
  • 有趣的开源集市
  • Agile Query
  • Hadoop
  • 数据仓库/中台
  • 数据治理
  • Streampark
  • Gravitino
  • Linux
  • Paimon
  • MySQL
  • Clickhouse
  • Docker
  • 新零售
  • Spark
  • Web前端
  • Kubernetes
  • Atlas
  • Java
  • Hudi
  • Python开发
  • Calcite
  • Drools
  • 嵌入式开发
  • 智能制造
  • 数据平台架构
  • 物理围栏
  • Dbeaver
  • 金融
  • Elasticsearch
  • 规则系统
  • Git
  • Nifi
  • Ambari
  • Kettle
  • Linkis
  • Redis
  • Zookeeper
  • Celeborn
  • Hbase
  • Datart
  • MongoDB
  • SQLLineage
  • Datax
  • Ranger
  • 游戏
  • Gradle
  • Iceberg
  • HiDataPlus
  • Druid
  • Amoro
  • OpenMetadata
  • MQTT
  • 数据结构和算法
  • maven
  • Canal
  • 指标中台
  • Kyuubi
  • 数据湖
  • FineReport
  • 物流
  • DataHub
  • Griffin
  • Superset
  • Zabbix
  • 大数据启示录
  • MinIo
  • Tidb
  • 数智化
  • Debezium
  • Flume
  • Azkaban
  • 小阳杂说
  • Airflow
  • Sqoop
  • StreamSets
  • Tez
  • Kudu
  • Beam
  • Oracle
  • Zeppelin
  • Telegraf
  • Nmon
  • Storm
  • Impala
  • Kylin
  • Maxwell
  • Davinci
  • Prometheus
  • Sentry
  • Hue
  • Pulsar
  • Filebeat
  • Phoenix
  • 雷达视频设备应用
  • Svn
  • Oozie
  • Greenplum
  • Cassandra
  • Grafana
  • Presto
  • InfluxDB
  • Bigtop
  • 提示词工程
  • 巨人肩膀
  • Golang
  • 网络安全
  • 数智领航
  • 书籍共享
  • asdasd
  • d3ed4
  • 动力电池
  • 测试私密home显示
  • dasdas55555
  • SFF
无匹配社区

博客园

请选择社区

从 0 到 1 构建湖仓体系, Apache Doris 湖仓一体解决方案全面解读

近年来,数据分析技术栈经历了从数据仓库、数据湖到湖仓一体的演进。湖仓一体架构融合了数据仓库的高性能与数据湖的高扩展性,通过开放数据格式、统一元数据管理及多元计算引擎,解决了数据孤岛、实时性不足等问题。Apache Doris作为湖仓一体解决方案,提供灵活的数据接入、高性能处理及业务迁移能力,支持企业低成本高效转型。
数据仓库/中台
头像
数据分析狮 发布于 04月17日
42浏览

从阿里、腾讯、字节、快手四大厂实践,看湖仓一体如何解决大数据核心痛点

四大互联网公司通过湖仓一体技术解决大数据处理三大困境:架构割裂、时效性瓶颈和成本治理难题。阿里妈妈采用Flink+Paimon实现毫秒级实时决策,腾讯视频通过Iceberg+StarRocks统一指标口径,字节跳动基于Hudi构建多引擎协同平台,快手利用Doris+Alluxio提升查询性能。
数据仓库/中台
头像
数据分析狮 发布于 04月17日
151浏览

阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践

阿里妈妈广告业务依托实时数仓架构演进,从基于TT的烟囱式架构转型为Paimon湖仓方案,解决了数据重复、Schema缺失、资源浪费等问题。新架构通过主键表支持去重、统一实时离线Schema,并引入DWS层提升聚合效率。设计包含实时双链路容灾和离线备份,支持分钟级数据更新与万级TPS查询,降低40%资源消耗及50%开发工作量,同时提升业务决策时效性。
数据仓库/中台
头像
数据分析狮 发布于 04月17日
48浏览

干货丨字节跳动基于 Apache Hudi 的湖仓一体方案及应用实践

本文介绍了字节跳动自研的湖仓一体存储方案,针对Lambda架构存在的实时/离线存储计算不统一等问题,基于Hudi数据湖框架扩展实时加速服务层(BTS),实现批流读写统一、秒级延迟可见。方案通过内存服务优化实时处理性能,支持多维分析、流批复用等场景,显著降低组件依赖与资源成本。未来计划提升并发写入、容灾能力及Kafka兼容性。该方案已通过火山引擎LAS产品对外开放。
数据仓库/中台
头像
数据分析狮 发布于 04月17日
58浏览

基于 Doris 湖仓一体分析系统在快手的实践

快手等企业采用OLAP分析工具ClickHouse进行大规模数据处理,但面临数据冗余、同步延迟和治理成本高等问题。为此,团队基于Doris构建湖仓一体分析系统,优化元数据缓存、数据预热和自动物化功能,提升查询性能并实现消费驱动生产模式。新系统通过Alluxio缓存管理和Spark退避机制,平衡效率与稳定性,简化数据分析流程。
数据仓库/中台
头像
数据分析狮 发布于 04月17日
45浏览

干货|字节跳动在湖仓一体领域的最佳实践

本文回顾了Qcon上海站关于湖仓一体架构的主题分享,探讨了从Hadoop到湖仓一体的演进趋势,剖析了LAS产品的核心优势及关键技术组件。通过抖音电商、用户画像、金融行业和消费行业四个实践案例,展示了湖仓一体架构在解决数据孤岛、提升时效性和降低开发成本中的应用价值。最后提出实时湖仓、智能湖仓和引擎增强三大未来规划方向。
数据仓库/中台
头像
数据分析狮 发布于 04月17日
50浏览

DeepSeek在数据仓库的10大应用场景

DeepSeek提供智能数据集成、清洗、建模、分析等12大应用场景,涵盖数据仓库全生命周期管理,支持实时处理、预测分析与自动化运维,帮助企业实现高效数据治理及基于数据的决策支持,推动业务增长与创新。
AI大世界AI应用开发数据仓库数据治理大数据人工智能
头像
qiushaohua 发布于 04月17日
50浏览

终于有人把“数据建模”讲清楚了!

数据建模是解决企业数据混乱问题的关键,通过结构化设计将业务映射为数据模型,确保数据可读、可用、可分析。数据模型是建模的结果,包含实体、关系和约束。建模过程分为概念建模、逻辑建模和物理建模三个阶段,常见方法包括范式建模(强调一致性)、维度建模(优化分析效率)和实体建模(抽象业务对象)。这些方法协同使用,为数据仓库建设和治理提供坚实基础。
数据仓库/中台数据模型数据仓库维度建模
头像
qiushaohua 发布于 04月16日
19浏览

Doris x Paimon湖仓一体建设技术要点

Doris与Paimon构建的湖仓一体方案聚焦查询加速与统一建模,支持多源数据接入与开放格式存储。通过IO优化、数据/元数据缓存及物化视图实现湖仓查询加速(TPCDS测试耗时仅为Trino的1/3),并提供异构数据源统一访问能力。数据处理层结合Flink+Paimon实现流批一体,Doris分层加工后支持数据回写,平衡性能与传统数仓生态。
Doris数据仓库/中台Doris数据湖统一建模MPP引擎Paimon
头像
数据分析狮 发布于 04月16日
36浏览

元数据管理:组织数据资产的“导航仪”与“说明书”

元数据是描述数据的数据,分为业务、技术和管理三类,帮助解决数据'找不到、读不懂、不可信'难题,支撑数据治理与资产化。实施元数据管理需四步:制定管控体系、定义标准、技术方案设计与应用。未来趋势是从被动管理转向AI驱动的主动赋能,提升数据治理效率。
数据治理元数据数据资产数据血缘数据质量数据治理数据管理
头像
我不是超人 发布于 04月16日
25浏览

如何写出高质量的提示词

本文系统讲解了与AI高效沟通的核心技能——提示词(Prompt)的写作方法,强调明确目标、提供具体细节、结构化表达等8大原则,通过案例展示如何在不同场景中最大化AI效能,并推荐实用工具帮助优化提示词。
AI应用开发AI大世界提示词技巧工具推荐
头像
我不是超人 发布于 04月15日
85浏览

畅想描绘:多模态数据治理体系框架

多模态数据治理面临理论体系缺失、技术支撑不足、AI工具不完善及场景难挖掘等挑战,导致实施复杂性与成本增加。现有数据治理框架虽适用,但需融合AI技术与工程化实践。建议结合DAMA和DCMM构建多模态治理体系,通过‘自上而下’或‘自下而上’策略闭环推进,强调技术与业务协同。
数据治理DAMA框架DCMM多模态数据治理数据质量AI技术
头像
数据分析狮 发布于 04月15日
44浏览

NotepadAI智能笔记助手,效率直接翻倍!

NotepadAI是一款智能笔记助手,专为提升工作效率的学生和职场人士设计。它不仅继承Notepad++的代码编辑功能并支持自动语言识别,还可自定义常用AI操作如翻译、扩写、改写等,支持一键调用或发布到工具箱。用户可临时调用AI功能无需切换窗口,同时提供热门AI工具箱和便捷的分享导出功能,支持团队协作和跨平台使用。
AI应用开发AI笔记代码编辑智能助手效率工具
头像
数据分析狮 发布于 04月10日
55浏览

AI 提示词不会写?试试 PromptIDE

AI技术迅速改变工作方式,善用AI成为关键能力差距。PromptIDE作为AI提示词生成优化神器,帮助用户精准生成和调试提示词,提升AI输出质量10倍效率。支持一键测试优化,无需复杂部署,让AI真正听懂需求。
提示词优化PromptIDEAI工具
头像
我不是超人 发布于 04月09日
54浏览

在线Notepad智能笔记——你的全能AI创作助手

Notepad智能笔记是一款高效的知识管理工具,突破传统笔记软件的局限,提供多样化AI功能。支持自定义AI指令(如会议纪要生成、待办事项整理)、智能模板库(预设小红书文案等提示词)及文本快捷操作(翻译/润色),实现无缝工作流。一键分享链接和跨平台导出功能,大幅提升个人与团队协作效率。
AI应用开发AI大世界智能笔记AI办公效率工具
头像
qiushaohua 发布于 04月03日
76浏览

在 JavaScript 中获取 Fetch 请求的 Headers 数据

本文介绍了在JavaScript中使用Fetch API获取请求和响应Headers数据的方法。可以通过response.headers.get()获取特定Header,使用forEach遍历所有Headers,或将其转换为对象。创建请求时可以设置自定义Headers,并通过request.headers.get()查看。
Web前端JavaScriptFetch APIHeaders异步请求HTTPWeb开发前端
头像
梦想家 发布于 04月03日
67浏览1点赞

巨人对话上线啦!集多模型支持、内容分享、提示词管理于一体的智能对话工具

「巨人对话」是一款多功能的智能对话工具,支持文心大模型、DeepSeek、豆包等多个AI引擎,实现多模型自由切换与对比。提供对话内容一键分享与发布功能,便于团队协作与知识传播。内置提示词库和收藏夹,帮助用户高效管理和复用提示词,提升工作效率。
AI大世界AI应用开发多模型切换协作工具效率工具智能对话
头像
qiushaohua 发布于 04月02日
72浏览

模型设计、数据架构、数据治理一体化大数据平台

本文从稳定、可信、丰富、透明四个维度探讨如何基于大数据平台构建新一代数据仓库,强调通过维度/实体关系建模、星型/雪花模型结合、三层扁平化架构(基础层-中间层-集市层)实现高效数据处理。数据架构需整合结构化/半结构化/非结构化数据,通过服务化输出统计、分析及标签服务。关键点包括虚拟节点应用、强制分区设计和数据全流程治理(质量监控+生命周期管理),最终形成高容错、低成本、强时效的数据体系。
大数据启示录数据仓库数据治理大数据平台
头像
qiushaohua 发布于 04月02日
41浏览

Manus 技术架构设计剖析和复刻落地实现

Manus是Monica公司推出的全球首款通用AI Agent,具备自主规划、执行和反思能力,能独立完成从撰写报告到技术操作等复杂任务。其设计灵感源自拉丁文“手”,强调行动实现知识。产品提供标准与高投入两种模式,支持29种工具,包括命令执行、文件读写、浏览器操作等。技术基于ReAct Agent架构,在沙箱环境中运行,结合增量式规划和反思机制确保任务高效完成。
AI应用开发AI大世界任务自动化ManusAI Agent
头像
qiushaohua 发布于 04月02日
121浏览

提示词广场正式上线:一站式AI提示词解决方案,赋能全场景效率提升

「提示词广场」是一个专注于提供高质量提示词(Prompt)的平台,覆盖职场效率、生活、学习教育、内容创作等多个领域,旨在帮助用户通过AI工具提升个人与团队效能。平台提供会议记录整理、健身计划制定、论文写作指导、文案创作等多样化提示词,满足不同场景需求。同时,鼓励用户共建共享,上传自定义提示词。
AI应用开发AI大世界提示词广场AI工具效率提升
头像
qiushaohua 发布于 04月01日
51浏览
1 4567864

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

由 深圳数智领航科技有限公司 提供动力 - 数智化领航者。

©2023-2025 - 巨人肩膀 - 粤ICP备2025395551号-1