博客园
最新
热门
发布
Doris 夺命 30 连问!(中)
抱歉,作为从 S2 开始的骨灰级玩家看到 EDG·UZI 官宣首发上线,兴奋之余忘了写文档 - -||,还望各位看官老爷见谅,这次错了,下次还敢 ^_^ 这是继上次的 30 问上篇的中篇,也是 10 个问题,有些还是比较难回答的,欢迎大家在评论区或者私聊我来进行 battle~
Doris
PowerData
苏奕嘉
发布于 08月09日
123 浏览
2 点赞
Doris 夺命 30 连问!(上)
在前段时间和 Apache Doris 一个数据体量比较大的测试用户沟通过程中,对方的多达十几人的大数据架构师团队就关于 Apache Doris 的各种特性和自身业务场景提出了众多问题,个人感觉非常有探讨的价值,一起来看看,如果有异议或者意见,可以评论留言,也可以私聊~
Doris
PowerData
苏奕嘉
发布于 08月09日
303 浏览
2 点赞
一个为90后设计的Shell,早知道,当年学Shell也不至于那么痛苦了,Star 25K+!
Linux有很多解析器(Shell),Bash是默认安装也是用途最广的Shell之一。但是作为一个运维小白(比如N年前刚入运维坑的我),刚开始学习Shell的时候简直头大。什么 awk, sed,脑子根本记不住,用了小本子也记不住,shell脚本也是边学边忘边“某度”。总之,当年的《鸟哥私房菜》,啃了两遍,最终结果就是翻页查找特快(也有可能我不够聪明)!
Linux
开源集市
发布于 08月09日
405 浏览
2 点赞
【杭州活动邀请函】2024-08-25 | PowerData 数字经济-杭州开源行!
【杭州活动邀请函】2024-08-25 | PowerData 数字经济-杭州开源行!
PowerData
PowerData
发布于 08月09日
125 浏览
3 点赞
联通数科如何基于Apache DolphinScheduler构建DataOps一体化能力平台
今天,我将和大家聊一聊联通数字科技有限公司是如何基于Apache DolphinScheduler构建DataOps一体化能力平台的。 今天的分享主要分为三个部分: 1.关于DataOps的一些思考; 2.企业在实施任务调度系统时的一些困境和困难; 3.我们基于Apache DolphinScheduler所做的一些改造。
Dolphinscheduler
实践
Dataops
发布于 08月09日
100 浏览
2 点赞
映客基于Apache SeaTunnel 打造高效的一站式数据集成平台
现有的数据集成平台短板慢慢展现导致部分业务线无法快速对接。数据源的架构在变得繁多和复杂,数据应用也逐渐变得更加垂直和场景化,这也倒逼了现代数据架构飞速发展。从而数据集成已经从一项技术管理工作升级为系统工程。
SeaTunnel
Dataops
发布于 08月09日
133 浏览
AI 大模型时代呼唤新一代基础设施,DataOps 2.0和编排愈发重要
在 AI 时代,DataOps 2.0 代表了一种全新的数据管理和操作模式,通过自动化数据管道、实时数据处理和跨团队协作,DataOps 2.0 能够加速数据分析和决策过程。它融合了人工智能和机器学习技术,使得数据的获取、清洗和分析更加高效,推动企业在快速变化的市场中保持竞争优势。
Dolphinscheduler
Dataops
发布于 08月08日
75 浏览
2 点赞
Apache SeaTunnel-OLAP 引擎的数据动脉
主要内容包括以下六大部分: 1. Apache SeaTunnel 项目介绍 2. Apache SeaTunnel 核心功能 3.SeaTunnel 在 OLAP 场景下的应用 4. 社区近期计划 5. WhaleTunnel 产品特性 6. 问答环节
SeaTunnel
Dataops
发布于 08月08日
154 浏览
1 点赞
对数据中台的梳理与思考
Gartner:《数据中台在中国已经接近炒作的顶峰》 PowerData:接近顶峰?那就说明还有上升的空间嘛 本篇文章聊聊数据中台爆火背后的逻辑。
PowerData
PowerData
发布于 08月08日
169 浏览
2 点赞
全面介绍 Apache Doris 数据灾备恢复机制及使用示例
Apache Doris 作为一款 OLAP 实时数据仓库,在越来越多的中大型企业中逐步占据着主数仓这样的重要位置,主数仓不同于 OLAP 查询引擎的场景定位,对于数据的灾备恢复机制有比较高的要求,本篇就让我们全面的介绍和示范如何利用这些特性能力构建集群数据的灾备恢复机制。
Doris
PowerData
苏奕嘉
发布于 08月08日
560 浏览
4 点赞
中电信翼康济世数据中台基于Apache SeaTunnel构建数据集成平台经验分享
Apache SeaTunnel作为一个高效、灵活的数据集成平台,在数据中台战略中扮演着重要角色。通过本文的介绍,读者可以了解如何基于SeaTunnel快速搭建数据集成平台,并在实际应用中灵活运用。未来,随着技术的不断发展,SeaTunnel将继续在数据集成领域发挥重要作用,助力企业实现数据驱动的业务变革。
SeaTunnel
Dataops
发布于 08月07日
146 浏览
B站基于DolphinScheduler的一站式大数据集群管理平台(BMR)初窥
大数据服务是数据平台建设的基座,随着B站业务的快速发展,其大数据的规模和复杂度也突飞猛进,技术的追求也同样不会有止境。 B站一站式大数据集群管理平台(BMR),在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。
Dolphinscheduler
实践
Dataops
发布于 08月07日
66 浏览
DolphinScheduler 3.2.0生产级集群搭建
导读:通过简化复杂的任务依赖关系, DolphinScheduler为数据工程师提供了强大的工作流程管理和调度能力。在3.2.0版本中,DolphinScheduler带来了一系列新功能和改进,使其在生产环境中的稳定性和可用性得到了显著提升。
Dolphinscheduler
运维
Dataops
发布于 08月07日
171 浏览
Dolphinscheduler Docker部署全攻略
Docker部署的目的是在容器中快速启动部署Apache Dolphinscheduler服务。
Dolphinscheduler
运维
Dataops
发布于 08月07日
111 浏览
Apache DolphinScheduler 3.2.2 版本正式发布!
近日,Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复,新增若干特性,并进行了众多改进和 Bug 修复,以及文档修复等
Dolphinscheduler
Dataops
发布于 08月07日
49 浏览
Apache DolphinScheduler Worker Task执行原理解析
大家好,我是蔡顺峰,是白鲸开源的高级数据工程师,同时也是Apache DolphinScheduler社区的committer和PMC member。今天我要分享的主题是《Worker Task执行原理》。
Dolphinscheduler
Dataops
发布于 08月07日
106 浏览
Apache DolphinScheduler 1.3.4升级至3.1.2版本过程中的踩坑记录
因为在工作中需要推动Apache DolphinScheduler的升级,经过预研,从1.3.4到3.1.2有的体验了很大的提升,在性能和功能性有了很多的改善,推荐升级。 查看官方的升级文档,可知有提供升级脚本,如果只是跨小版本的更新那么只用执行脚本就好了,但跨多个大版本升级时依然容易出现各种问题,特此总结。
Dolphinscheduler
Dataops
发布于 08月07日
36 浏览
Apache Dolphinscheduler在某新能源企业的落地与实践
我司中创新航(CALB),是全球领先的新能源科技企业 ,致力于成为能源价值创造者,构建全方位能源运营体系,为以动力及储能为代表的新能源全场景应用市场提供完善的产品解决方案和全生命周期管理。
Dolphinscheduler
Dataops
发布于 08月07日
102 浏览
1 点赞
如何封装 websocket 以支撑不同业务的消息即时通讯?
公司之前很多涉及到后端需要主动与前端web交互的业务,代码耦合严重,新的业务场景需要即时通信的得重新接入websocket,花费很多时间和精力,因此需要将websocket(缩写为:ws)抽象为公司内部的通讯服务,可以解决业务不同需求.
忆往昔
发布于 08月06日
157 浏览
掌握Golang中的Defer, Panic和Recover
Golang中的Defer、Panic和Recover机制提供了一种灵活且强大的错误处理方式。合理使用这些机制,可以确保程序在面对异常时保持稳定,并进行必要的资源清理。通过深入理解和实践这些机制,开发者可以编写出更健壮、更可靠的Go程序。
Golang
忆往昔
发布于 08月06日
96 浏览
1
4
5
6
7
8
45