什么是 Apache StreamPark™

实时即未来,在实时处理流域 Apache Spark™ 和 Apache Flink® 是一个伟大的进步，尤其是 Flink 被普遍认为是下一代大数据流计算引擎。
头像
忆往昔  发布于 2024年09月12日
209浏览

大数据运维实战：Spark作业的监控与深度诊断

Apache Spark是一个强大的大数据处理框架，广泛应用于数据分析、机器学习和实时数据处理等领域。然而，随着数据规模的扩大和作业复杂性的增加，如何有效地监控和诊断Spark作业的资源使用状态变得尤为重要。本文将探讨Spark作业的常用监控工具、任务的资源状态诊断。
头像
忆往昔  发布于 2024年09月05日
384浏览

Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性

本文整理自阿里云/数据湖 Spark 引擎负责人周克勇（一锤）在 Streaming Lakehouse Meetup 的分享。内容主要分为五个部分： 1. Apache Celeborn 的背景 2. Apache Celeborn——快 3. Apache Celeborn——稳 4. Apache Celeborn——弹 5. Evaluation
头像
巨人肩膀小编  发布于 2024年07月05日
236浏览

Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生

在过去数年中，网易在大数据云原生领域进行了长足的探索。本文围绕如何基于 Apache Kyuubi & Celeborn 等开源技术，构建企业级 Spark on Kubernetes 云原生离线计算平台展开，包含技术选型、架构设计、经验教训、缺陷改进、降本增效等内容，深入剖析网易在该领域的探索成果。
头像
巨人肩膀小编  发布于 2024年07月05日
369浏览

了解spark计算模型

 博主认为作为初学spark，了解运行原理可以帮助后期排错，更有帮助。
头像
洪波涌起  发布于 2024年03月19日
66浏览

Spark常见异常处理

十六个Spark实践中常见异常的处理。
头像
.  发布于 2024年03月15日
491浏览 3点赞

共创排行榜

StreamPark文档

一个流处理应用程序开发管理框架，旨在轻松构建和管理流处理应用程序，提供使用 Apache Flink® 和 Apache Spark™ 编写流处理应用的开发框架和一站式实时计算平台，核心能力包括不限于应用开发、部署、管理、运维、实时数仓等。

562
0

Paimon初识

一个流数据湖平台，是Streaming 实时计算能力和 Lakehouse 新架构优势的结合，具有高速数据摄取、变更日志跟踪和高效的实时分析能力。

1605
1