AI编程
AI应用开发
AI大世界
Flink
Doris
SeaTunnel
数据分析
Dolphinscheduler
StarRocks
车联网
PowerData
用户画像
Kafka
Dinky
Agile Query
Hive
Hadoop
有趣的开源集市
Streampark
Gravitino
Linux
数据仓库/中台
数据治理
Paimon
Clickhouse
MySQL
Docker
新零售
Spark
Web前端
Atlas
Kubernetes
Java
Hudi
Python开发
嵌入式开发
智能制造
Calcite
Drools
物理围栏
数据平台架构
金融
规则系统
Dbeaver
Elasticsearch
Nifi
Git
Linkis
Kettle
Ambari
Datart
Redis
MongoDB
Hbase
Zookeeper
Ranger
SQLLineage
Celeborn
游戏
Datax
Gradle
Iceberg
Druid
OpenMetadata
数据结构和算法
Canal
Kyuubi
maven
指标中台
Amoro
HiDataPlus
MQTT
FineReport
物流
数据湖
Griffin
Superset
DataHub
Debezium
Airflow
MinIo
Tidb
小阳杂说
Zabbix
Azkaban
Flume
StreamSets
数智化
Kudu
Sqoop
Beam
Tez
Telegraf
Oracle
Zeppelin
Nmon
Kylin
Prometheus
Maxwell
Storm
Sentry
Davinci
Pulsar
Impala
Phoenix
大数据启示录
Filebeat
Hue
Svn
Presto
Cassandra
Oozie
Greenplum
Grafana
雷达视频设备应用
InfluxDB
Bigtop
巨人肩膀
Golang
提示词工程
网络安全
数智领航
书籍共享
asdasd
动力电池
d3ed4
测试私密home显示
dasdas55555
SFF
无匹配社区
博客园
最新
热门
请选择社区
发布
数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南
本文深入探讨了Apache Doris在湖仓一体架构中的三大场景实践:湖仓分析加速、多源联邦分析和湖仓数据处理。通过本地缓存、物化视图优化提升查询性能,支持多数据源联邦查询解决数据孤岛问题,并提供定时任务调度实现外部数据同步与加工。结合具体配置示例和性能对比,展示了Doris如何高效支持企业级数据分析需求。
数据仓库/中台
数据分析狮
发布于 14 days ago
35浏览
从 0 到 1 构建湖仓体系, Apache Doris 湖仓一体解决方案全面解读
近年来,数据分析技术栈经历了从数据仓库、数据湖到湖仓一体的演进。湖仓一体架构融合了数据仓库的高性能与数据湖的高扩展性,通过开放数据格式、统一元数据管理及多元计算引擎,解决了数据孤岛、实时性不足等问题。Apache Doris作为湖仓一体解决方案,提供灵活的数据接入、高性能处理及业务迁移能力,支持企业低成本高效转型。
数据仓库/中台
数据分析狮
发布于 14 days ago
30浏览
从阿里、腾讯、字节、快手四大厂实践,看湖仓一体如何解决大数据核心痛点
四大互联网公司通过湖仓一体技术解决大数据处理三大困境:架构割裂、时效性瓶颈和成本治理难题。阿里妈妈采用Flink+Paimon实现毫秒级实时决策,腾讯视频通过Iceberg+StarRocks统一指标口径,字节跳动基于Hudi构建多引擎协同平台,快手利用Doris+Alluxio提升查询性能。
数据仓库/中台
数据分析狮
发布于 14 days ago
75浏览
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
阿里妈妈广告业务依托实时数仓架构演进,从基于TT的烟囱式架构转型为Paimon湖仓方案,解决了数据重复、Schema缺失、资源浪费等问题。新架构通过主键表支持去重、统一实时离线Schema,并引入DWS层提升聚合效率。设计包含实时双链路容灾和离线备份,支持分钟级数据更新与万级TPS查询,降低40%资源消耗及50%开发工作量,同时提升业务决策时效性。
数据仓库/中台
数据分析狮
发布于 14 days ago
24浏览
干货丨字节跳动基于 Apache Hudi 的湖仓一体方案及应用实践
本文介绍了字节跳动自研的湖仓一体存储方案,针对Lambda架构存在的实时/离线存储计算不统一等问题,基于Hudi数据湖框架扩展实时加速服务层(BTS),实现批流读写统一、秒级延迟可见。方案通过内存服务优化实时处理性能,支持多维分析、流批复用等场景,显著降低组件依赖与资源成本。未来计划提升并发写入、容灾能力及Kafka兼容性。该方案已通过火山引擎LAS产品对外开放。
数据仓库/中台
数据分析狮
发布于 14 days ago
21浏览
基于 Doris 湖仓一体分析系统在快手的实践
快手等企业采用OLAP分析工具ClickHouse进行大规模数据处理,但面临数据冗余、同步延迟和治理成本高等问题。为此,团队基于Doris构建湖仓一体分析系统,优化元数据缓存、数据预热和自动物化功能,提升查询性能并实现消费驱动生产模式。新系统通过Alluxio缓存管理和Spark退避机制,平衡效率与稳定性,简化数据分析流程。
数据仓库/中台
数据分析狮
发布于 14 days ago
19浏览
干货|字节跳动在湖仓一体领域的最佳实践
本文回顾了Qcon上海站关于湖仓一体架构的主题分享,探讨了从Hadoop到湖仓一体的演进趋势,剖析了LAS产品的核心优势及关键技术组件。通过抖音电商、用户画像、金融行业和消费行业四个实践案例,展示了湖仓一体架构在解决数据孤岛、提升时效性和降低开发成本中的应用价值。最后提出实时湖仓、智能湖仓和引擎增强三大未来规划方向。
数据仓库/中台
数据分析狮
发布于 14 days ago
18浏览
DeepSeek在数据仓库的10大应用场景
DeepSeek提供智能数据集成、清洗、建模、分析等12大应用场景,涵盖数据仓库全生命周期管理,支持实时处理、预测分析与自动化运维,帮助企业实现高效数据治理及基于数据的决策支持,推动业务增长与创新。
AI大世界
AI应用开发
数据仓库
数据治理
大数据
人工智能
qiushaohua
发布于 14 days ago
15浏览
终于有人把“数据建模”讲清楚了!
数据建模是解决企业数据混乱问题的关键,通过结构化设计将业务映射为数据模型,确保数据可读、可用、可分析。数据模型是建模的结果,包含实体、关系和约束。建模过程分为概念建模、逻辑建模和物理建模三个阶段,常见方法包括范式建模(强调一致性)、维度建模(优化分析效率)和实体建模(抽象业务对象)。这些方法协同使用,为数据仓库建设和治理提供坚实基础。
数据仓库/中台
数据模型
数据仓库
维度建模
qiushaohua
发布于 15 days ago
13浏览
Doris x Paimon湖仓一体建设技术要点
Doris与Paimon构建的湖仓一体方案聚焦查询加速与统一建模,支持多源数据接入与开放格式存储。通过IO优化、数据/元数据缓存及物化视图实现湖仓查询加速(TPCDS测试耗时仅为Trino的1/3),并提供异构数据源统一访问能力。数据处理层结合Flink+Paimon实现流批一体,Doris分层加工后支持数据回写,平衡性能与传统数仓生态。
Doris
数据仓库/中台
Doris
数据湖
统一建模
MPP引擎
Paimon
数据分析狮
发布于 15 days ago
14浏览
元数据管理:组织数据资产的“导航仪”与“说明书”
元数据是描述数据的数据,分为业务、技术和管理三类,帮助解决数据'找不到、读不懂、不可信'难题,支撑数据治理与资产化。实施元数据管理需四步:制定管控体系、定义标准、技术方案设计与应用。未来趋势是从被动管理转向AI驱动的主动赋能,提升数据治理效率。
数据治理
元数据
数据资产
数据血缘
数据质量
数据治理
数据管理
我不是超人
发布于 15 days ago
12浏览
如何写出高质量的提示词
本文系统讲解了与AI高效沟通的核心技能——提示词(Prompt)的写作方法,强调明确目标、提供具体细节、结构化表达等8大原则,通过案例展示如何在不同场景中最大化AI效能,并推荐实用工具帮助优化提示词。
AI应用开发
AI大世界
提示词技巧
工具推荐
我不是超人
发布于 16 days ago
16浏览
畅想描绘:多模态数据治理体系框架
多模态数据治理面临理论体系缺失、技术支撑不足、AI工具不完善及场景难挖掘等挑战,导致实施复杂性与成本增加。现有数据治理框架虽适用,但需融合AI技术与工程化实践。建议结合DAMA和DCMM构建多模态治理体系,通过‘自上而下’或‘自下而上’策略闭环推进,强调技术与业务协同。
数据治理
DAMA框架
DCMM
多模态数据治理
数据质量
AI技术
数据分析狮
发布于 16 days ago
27浏览
NotepadAI智能笔记助手,效率直接翻倍!
NotepadAI是一款智能笔记助手,专为提升工作效率的学生和职场人士设计。它不仅继承Notepad++的代码编辑功能并支持自动语言识别,还可自定义常用AI操作如翻译、扩写、改写等,支持一键调用或发布到工具箱。用户可临时调用AI功能无需切换窗口,同时提供热门AI工具箱和便捷的分享导出功能,支持团队协作和跨平台使用。
AI应用开发
AI笔记
代码编辑
智能助手
效率工具
数据分析狮
发布于 21 days ago
30浏览
AI 提示词不会写?试试 PromptIDE
AI技术迅速改变工作方式,善用AI成为关键能力差距。PromptIDE作为AI提示词生成优化神器,帮助用户精准生成和调试提示词,提升AI输出质量10倍效率。支持一键测试优化,无需复杂部署,让AI真正听懂需求。
提示词优化
PromptIDE
AI工具
我不是超人
发布于 22 days ago
44浏览
在线Notepad智能笔记——你的全能AI创作助手
Notepad智能笔记是一款高效的知识管理工具,突破传统笔记软件的局限,提供多样化AI功能。支持自定义AI指令(如会议纪要生成、待办事项整理)、智能模板库(预设小红书文案等提示词)及文本快捷操作(翻译/润色),实现无缝工作流。一键分享链接和跨平台导出功能,大幅提升个人与团队协作效率。
AI应用开发
AI大世界
智能笔记
AI办公
效率工具
qiushaohua
发布于 a month ago
48浏览
在 JavaScript 中获取 Fetch 请求的 Headers 数据
本文介绍了在JavaScript中使用Fetch API获取请求和响应Headers数据的方法。可以通过response.headers.get()获取特定Header,使用forEach遍历所有Headers,或将其转换为对象。创建请求时可以设置自定义Headers,并通过request.headers.get()查看。
Web前端
JavaScript
Fetch API
Headers
异步请求
HTTP
Web开发
前端
梦想家
发布于 a month ago
43浏览
1点赞
巨人对话上线啦!集多模型支持、内容分享、提示词管理于一体的智能对话工具
「巨人对话」是一款多功能的智能对话工具,支持文心大模型、DeepSeek、豆包等多个AI引擎,实现多模型自由切换与对比。提供对话内容一键分享与发布功能,便于团队协作与知识传播。内置提示词库和收藏夹,帮助用户高效管理和复用提示词,提升工作效率。
AI大世界
AI应用开发
多模型切换
协作工具
效率工具
智能对话
qiushaohua
发布于 a month ago
35浏览
模型设计、数据架构、数据治理一体化大数据平台
本文从稳定、可信、丰富、透明四个维度探讨如何基于大数据平台构建新一代数据仓库,强调通过维度/实体关系建模、星型/雪花模型结合、三层扁平化架构(基础层-中间层-集市层)实现高效数据处理。数据架构需整合结构化/半结构化/非结构化数据,通过服务化输出统计、分析及标签服务。关键点包括虚拟节点应用、强制分区设计和数据全流程治理(质量监控+生命周期管理),最终形成高容错、低成本、强时效的数据体系。
大数据启示录
数据仓库
数据治理
大数据平台
qiushaohua
发布于 a month ago
33浏览
Manus 技术架构设计剖析和复刻落地实现
Manus是Monica公司推出的全球首款通用AI Agent,具备自主规划、执行和反思能力,能独立完成从撰写报告到技术操作等复杂任务。其设计灵感源自拉丁文“手”,强调行动实现知识。产品提供标准与高投入两种模式,支持29种工具,包括命令执行、文件读写、浏览器操作等。技术基于ReAct Agent架构,在沙箱环境中运行,结合增量式规划和反思机制确保任务高效完成。
AI应用开发
AI大世界
任务自动化
Manus
AI Agent
qiushaohua
发布于 a month ago
52浏览
1
2
3
4
5
6
60