博客园

新秀组合 极致体验 | 自如基于 StreamPark + Paimon 实现数据一键入湖最佳实践

本文主要介绍了自如 MySQL 数据迁移至 Hive 的架构升级演进,原有架构涉及到的组件众多,链路复杂,遇到很多挑战,在使用 StreamPark + Paimon 这套组合方案后有效地解决了数据集成中遇到的困境和挑战,分享了 StreamPark + Paimon 在实际应用中具体的实践方案,以及这套新秀组合方案带来的优势和收益。
StreamparkPaimon
头像巨人肩膀小编 发布于2024年07月29日
244浏览

HTTPS 的加密过程及其工作原理

HTTPS (HyperText Transfer Protocol Secure) 是一种通过 SSL/TLS 加密保护数据传输安全的 HTTP 协议。HTTPS 的加密机制是保证数据在传输过程中不会被窃取、篡改或冒充的关键。
Linux
头像海星之梦 发布于2024年07月29日
57浏览

Redis面试灵魂100问

进阶问题、基础问题、高级问题、更多问题、更高级的问题、实战问题、深入问题、实践问题、终极问题
Redis
头像忆往昔 发布于2024年07月29日
128浏览

HTTPS那么强大,仅仅就是比HTTP安全那么简单吗?

随着互联网的普及和发展,数据传输的安全性变得越来越重要。在这个背景下,HTTPS(Hypertext Transfer Protocol Secure)作为一种安全的HTTP协议,逐渐取代了传统的HTTP协议。很多人认为HTTPS的主要优势在于其比HTTP更安全,但HTTPS的强大远不止于此。
Linux
头像忆往昔 发布于2024年07月29日
79浏览

Apache Doris + Apache Paimon 快速搭建指南|Lakehouse 使用手册(二)

湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。
DorisPaimon
头像忆往昔 发布于2024年07月29日
567浏览

Apache Doris + Apache Hudi 快速搭建指南|Lakehouse 使用手册(一)

湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。
DorisHudi
头像忆往昔 发布于2024年07月29日
219浏览 1点赞

开源免费的数据集成工具 Data Integration

数据集成 (Data Integration) 是指将不同来源的数据整合到一个统一的数据库或数据仓库中,以便进行数据分析和处理。数据集成可以帮助我们从不同的数据源中提取有用的信息,并将其整合到一个统一的视图中,从而更好地理解和分析数据。
NifiCanalDataxDebeziumKettleStreamSets
头像海星之梦 发布于2024年07月29日
955浏览

【在线工具推荐】正则链式开发工具-AI增强效率倍增

AI辅助生成。 •AI辅助解析。 •正则语法参考查阅。 •正则链式编写 •正则匹配结果高亮显示 •历史单正则表达式保存与一键复用 •正则链的保存与分享
数据分析AI应用开发
头像巨人肩膀小编 发布于2024年07月25日
129浏览 1点赞

腾讯云EMR大数据集群Master节点内存占用过高排查优化

腾讯云EMR大数据集群Master节点内存占用过高排查优化。通过命令查看内存占用比较高的进程,查找yarn HistoryServer的调优方案,查找yarn ApplicationHistoryServer相关配置
Hadoop
头像海星之梦 发布于2024年07月25日
223浏览 1点赞

Kubernetes 简介

让我们回顾一下为何 Kubernetes (K8s) 能够裨益四方。
DockerKubernetesLinux
头像久安 发布于2024年07月24日
317浏览 2点赞

新能源汽车员工,才是内卷之王!

都说互联网大厂员工卷。但现在,他们有了最强劲的对手——那就是新能源汽车员工。作为目前最炙手可热的行业,身处在内的每个人,都是“内卷之王”! 以前,车企(特别是德系)要40-50个月才能出一款新车。但现在,中国新能源平均20个月就能搞定新品这其中要完成各种硬件测试+软件适配 速度只能说可!怕!
车联网
头像随风 发布于2024年07月24日
171浏览

Flink流模式vs批模式:你选对了吗?

在大数据处理领域,Apache Flink 以其独特的流批一体架构,为开发者提供了强大的实时数据处理能力。然而,在选择 Flink 作业的执行模式时,开发者们普遍的经验是:流模式适用于对实时性要求较高的场景,如实时日志监控、在线欺诈检测等。这些场景要求系统能够持续处理不断产生的数据流,并在尽可能短的延迟时间内生成结果。而批模式则更适用于对大量历史数据进行统一处理,......
Flink
头像海星之梦 发布于2024年07月24日
216浏览

SeaTunnel 二次开发的实践分享

大部分数据开发工程师基于Apache SeaTunnel的二次开发,可能做的就是任务提交,任务的一些监控,还有在任务没有跑起来之前,我们可能需要预先知道跑起来之后的可能一些结果。
SeaTunnel
头像海星之梦 发布于2024年07月24日
461浏览

Calcite SqlNode toSqlString方法源码解析

Calcite SqlNode toSqlString方法源码解析
Calcite
头像OAOA 发布于2024年07月23日
320浏览

Apache Calcite解析 DDL 语句

Apache Calcite解析 DDL 语句
Calcite
头像OAOA 发布于2024年07月23日
474浏览

Calcite SqlParser config介绍

Calcite SqlParser config介绍
Calcite
头像OAOA 发布于2024年07月23日
234浏览

Calcite SQL 方言转换

Calcite SQL 方言转换
Calcite
头像OAOA 发布于2024年07月23日
703浏览

Flink-Kafka指定offset的五种方式

下面是Flink读取Kafka数据的代码,其中就有五种读取offset的方式,并配置相应的介绍。
FlinkKafka
头像海星之梦 发布于2024年07月22日
257浏览

31条接口设计规范

这些规范和案例有助于设计安全性高、性能优越、用户友好的API接口,提高系统稳定性和用户体验。
Java
头像海星之梦 发布于2024年07月22日
116浏览

深度剖析数据分析职业成长之路

探讨从入门到精通的全过程,解析关键技能、挑战与成长策略,助力数据分析师实现职业跃迁。
数据分析
头像数据分析狮 发布于2024年07月19日
562浏览
1 424344454681

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

由 深圳数智领航科技有限公司 提供动力 - 数智化领航者。

©2023-2025 - 巨人肩膀 - 粤ICP备2025395551号-1