Apache Celeborn 是一个统一的大数据中间服务，致力于提高不同MapReduce引擎的效率和弹性。为了Spark on Kubernetes的弹性以及解决External Shuffle Service的灵活性和稳定性不足，eBay引入 Celeborn 作为Remote Shuffle Service。本文介绍了eBay基于最新 RESTful API 进行自动化管理Celeborn

StarRocks 社区的年度盛会——StarRocks Summit Asia 2024 将于 12 月 7 日在北京隆重登场！ StarRocks 社区作为连接用户、平台方、业务方、技术爱好者与学术人员的开放平台，始终致力于打造标准化的行业解决方案，让每一位参与者都能在实践中汲取经验，在交流中碰撞创新。

在软件开发领域，代码仓库的管理方式对项目的效率和协作有着重要影响。 随着项目结构的日益复杂和开发挑战的不断增长，传统的单一代码库（Monolith）在应对多项目、多库和多服务的情况下显得力不从心，正是在这个背景下，Monorepo（微服务大仓）和Multirepo（微服务多仓）的概念应运而生。

如果说互联网的目标就是连接一切，那么推荐系统的作用就是建立更加有效率的连接，推荐系统可以更有效率的连接用户与内容和服务，节约了大量的时间和成本。 如果把推荐系统简单拆开来看，推荐系统主要是由数据、算法、架构三个方面组成。

随着 Apache Doris 项目的火热，很多想尝鲜或者试用的小伙伴都希望通过 Docker 来快速拉起一个功能测试或者开发的集群，但由于一些变更原因，Doris On Docker 这一块的内容还未来得及调整完，所以为了让更多的小伙伴不卡在快速使用的路上，特此出一版教程给大家快速拉起试用。

Apache Flink 社区正在积极准备 Flink 2.0，这是自 Flink 1.0 发布 8 年以来的首次大版本发布。作为一个重要的里程碑，Flink 2.0 将引入许多激动人心的功能和改进，以及一些不兼容的破坏性变更。为了促进用户和上下游项目（例如，连接器）尽早适配这些变更，提前尝试这些令人兴奋的新功能同时收集反馈，我们现在提供了 Flink 2.0 的预览版本。

大数据引擎的中间数据有两个来源: Shuffle 和 Spill，其中最重要的是 Shuffle，据统计有超过 15%的资源消耗在 Shuffle。

知乎Hadoop集群上每天运行着大量的Spark作业，包括调度平台提交的例行作业、Kyuubi提交的Spark SQL作业，每天Spark作业的Shuffle量达到3PB以上，单个Spark作业Shuffle量最大接近100TB，单个Stage 50TB。同时Hadoop集群上每天有1PB左右的MR作业Shuffle，以及DataNode的磁盘IO。

解析 Apache SeaTunnel 的任务运行过程，欢迎交流。

VTS（Vector Transport Service），全称向量传输服务，是一个由Zilliz开发的专注于向量和非结构化数据迁移的开源工具。VTS的核心特点在于其基于Apache SeaTunnel开发，这一事实使其在数据处理和迁移方面具有显著的优势。

SQL SERVER日常运维巡检系列——结构设计

Redis为什么这么快？

C++ —— 以真我之名 如飞花般绚丽 - 智能指针

SSH（Secure Shell）是 Linux 系统中最常用的远程管理协议之一。在服务器管理中，查看 SSH 日志是一项必备技能。通过分析日志，你可以监控登录活动、排查连接问题，甚至发现潜在的安全威胁。本文将深入讲解如何在 Linux 上查看 SSH 日志，从基础到进阶，一步步引导你掌握这一技能。

网络安全工程师在维护和保护信息系统的安全性方面扮演着至关重要的角色。为了有效地完成这一任务，他们需要掌握并使用多种工具。本文将详细介绍八款网络安全工程师必备的工具，包括Snort、Wireshark、Nmap、Metasploit、Nessus、OpenVAS、Firewall和Proxy server。

在这个信息爆炸的时代，我们的业务对数据的实时性要求越来越高。为了应对这个挑战，我们选择了一款强大的OLAP数据库——阿里云的StarRocks。在这篇文章中，我将分享我们使用StarRocks的心路历程，包括它带给我们的便利，以及我们在使用过程中遇到的一些困扰和问题。

drools使用指南——动态增加、修改、删除规则

Seatunnel 从Kafka到Kafka

seatunnel集群搭建

SeaTunnel 基本原理