博客园

Apache SeaTunnel-OLAP 引擎的数据动脉

主要内容包括以下六大部分: 1. Apache SeaTunnel 项目介绍 2. Apache SeaTunnel 核心功能 3.SeaTunnel 在 OLAP 场景下的应用 4. 社区近期计划 5. WhaleTunnel 产品特性 6. 问答环节
SeaTunnel
头像Dataops 发布于2024年08月08日
360浏览 1点赞

对数据中台的梳理与思考

Gartner:《数据中台在中国已经接近炒作的顶峰》 PowerData:接近顶峰?那就说明还有上升的空间嘛 本篇文章聊聊数据中台爆火背后的逻辑。
PowerData
头像PowerData 发布于2024年08月08日
206浏览 2点赞

全面介绍 Apache Doris 数据灾备恢复机制及使用示例

Apache Doris 作为一款 OLAP 实时数据仓库,在越来越多的中大型企业中逐步占据着主数仓这样的重要位置,主数仓不同于 OLAP 查询引擎的场景定位,对于数据的灾备恢复机制有比较高的要求,本篇就让我们全面的介绍和示范如何利用这些特性能力构建集群数据的灾备恢复机制。
DorisPowerData
头像苏奕嘉 发布于2024年08月08日
953浏览 4点赞

中电信翼康济世数据中台基于Apache SeaTunnel构建数据集成平台经验分享

Apache SeaTunnel作为一个高效、灵活的数据集成平台,在数据中台战略中扮演着重要角色。通过本文的介绍,读者可以了解如何基于SeaTunnel快速搭建数据集成平台,并在实际应用中灵活运用。未来,随着技术的不断发展,SeaTunnel将继续在数据集成领域发挥重要作用,助力企业实现数据驱动的业务变革。
SeaTunnel
头像Dataops 发布于2024年08月07日
264浏览

B站基于DolphinScheduler的一站式大数据集群管理平台(BMR)初窥

大数据服务是数据平台建设的基座,随着B站业务的快速发展,其大数据的规模和复杂度也突飞猛进,技术的追求也同样不会有止境。 B站一站式大数据集群管理平台(BMR),在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。
Dolphinscheduler实践
头像Dataops 发布于2024年08月07日
155浏览

Apache DolphinScheduler 3.2.2 版本正式发布!

近日,Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复,新增若干特性,并进行了众多改进和 Bug 修复,以及文档修复等
Dolphinscheduler
头像Dataops 发布于2024年08月07日
77浏览

Apache DolphinScheduler Worker Task执行原理解析

大家好,我是蔡顺峰,是白鲸开源的高级数据工程师,同时也是Apache DolphinScheduler社区的committer和PMC member。今天我要分享的主题是《Worker Task执行原理》。
Dolphinscheduler
头像Dataops 发布于2024年08月07日
184浏览

Apache DolphinScheduler 1.3.4升级至3.1.2版本过程中的踩坑记录

因为在工作中需要推动Apache DolphinScheduler的升级,经过预研,从1.3.4到3.1.2有的体验了很大的提升,在性能和功能性有了很多的改善,推荐升级。 查看官方的升级文档,可知有提供升级脚本,如果只是跨小版本的更新那么只用执行脚本就好了,但跨多个大版本升级时依然容易出现各种问题,特此总结。
Dolphinscheduler
头像Dataops 发布于2024年08月07日
50浏览

Apache Dolphinscheduler在某新能源企业的落地与实践

我司中创新航(CALB),是全球领先的新能源科技企业 ,致力于成为能源价值创造者,构建全方位能源运营体系,为以动力及储能为代表的新能源全场景应用市场提供完善的产品解决方案和全生命周期管理。
Dolphinscheduler
头像Dataops 发布于2024年08月07日
204浏览 1点赞

如何封装 websocket 以支撑不同业务的消息即时通讯?

公司之前很多涉及到后端需要主动与前端web交互的业务,代码耦合严重,新的业务场景需要即时通信的得重新接入websocket,花费很多时间和精力,因此需要将websocket(缩写为:ws)抽象为公司内部的通讯服务,可以解决业务不同需求.
头像忆往昔 发布于2024年08月06日
288浏览

掌握Golang中的Defer, Panic和Recover

Golang中的Defer、Panic和Recover机制提供了一种灵活且强大的错误处理方式。合理使用这些机制,可以确保程序在面对异常时保持稳定,并进行必要的资源清理。通过深入理解和实践这些机制,开发者可以编写出更健壮、更可靠的Go程序。
Golang
头像忆往昔 发布于2024年08月06日
206浏览

2.3.6版本发布!Apache SeaTunnel Zeta引擎迎来新架构!

Apache SeaTunnel 2.3.6 版本于近日正式发布,社区期待的 SeaTunnel Zeta Master/Worker 新架构、事件通知机制、支持动态编译的transform等新功能和新能力在这次版本中都有了全面的更新,并添加了首个向量数据库 Milvus。此外,本版本还进行了一些基础性的 Bug 修复和文档修复等,欢迎尝试使用!
SeaTunnel
头像忆往昔 发布于2024年08月06日
218浏览 1点赞

【消遣阅读】为什么很多人会说:科学的尽头是神学??

为什么很多人会说:科学的尽头是神学??
头像忆往昔 发布于2024年08月04日
129浏览 2点赞

Apache Doris + Apache Iceberg 快速搭建指南|Lakehouse 使用手册(三)

湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。
Doris
头像忆往昔 发布于2024年08月04日
194浏览 1点赞

官宣|Apache Flink 1.20 发布公告

Apache Flink PMC(项目管理委员)很高兴地宣布发布 Apache Flink 1.20.0。与往常一样,这是一个充实的版本,包含了广泛的改进和新功能。总共有 142 人为此版本做出了贡献,完成了 13 个 FLIPs、解决了 300 多个问题。感谢各位贡献者的支持!
Flink
头像海星之梦 发布于2024年08月02日
771浏览 1点赞

Docker基础命令-网络(network)管理(Docker网络类型、创建与管理自定义网络、DNS与服务发现、网络隔离与安全、网络桥接与路由、高级网络特性)

Docker网络管理涉及从基础配置到高级策略的广泛内容,是构建稳定、可扩展的Docker化应用架构的关键。通过深入理解网络类型、配置自定义网络、优化DNS与服务发现机制、强化网络安全措施,掌握这些技巧,无论是单机环境还是分布式集群,都能确保容器间通信的顺畅与隔离,满足不同应用场景的需求。
Docker
头像海星之梦 发布于2024年08月02日
166浏览 3点赞

深入浅出之Docker Compose详解

Docker Compose是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。Compose 是 Docker 公司推出的一个工具软件,可以管理多个 Docker 容器组成一个应用。你需要定义一个 YAML 格式的配置文件docker-compose.yml,写好多个容器之间的调用关系。然后,只要一个命令,就能同时启动/关闭这些容器
DorisKubernetes
头像海星之梦 发布于2024年07月31日
299浏览

数据库表设计的20条黄金规则

在数据库表设计中,虽然没有固定的20个规定,但可以根据广泛接受的数据库设计原则和最佳实践来总结出一些关键规定。本文是对这些规定的详细解释,并附上正反面例子进行对比说明
数据分析MySQL
头像洪波涌起 发布于2024年07月30日
108浏览

js实现滑动验证

手指在滑动整个屏幕时,会影响浏览器的行为,比如滚动和缩放。所以在调用touch事件时,要注意禁止缩放和滚动
Web前端js
头像梦想家 发布于2024年07月30日
80浏览 2点赞

新秀组合 极致体验 | 自如基于 StreamPark + Paimon 实现数据一键入湖最佳实践

本文主要介绍了自如 MySQL 数据迁移至 Hive 的架构升级演进,原有架构涉及到的组件众多,链路复杂,遇到很多挑战,在使用 StreamPark + Paimon 这套组合方案后有效地解决了数据集成中遇到的困境和挑战,分享了 StreamPark + Paimon 在实际应用中具体的实践方案,以及这套新秀组合方案带来的优势和收益。
StreamparkPaimon
头像巨人肩膀小编 发布于2024年07月29日
236浏览
1 444546474882

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

由 深圳数智领航科技有限公司 提供动力 - 数智化领航者。

©2023-2025 - 巨人肩膀 - 粤ICP备2025395551号-1