SeaTunnel

成员数 14 专栏 5 篇 博客 32 篇

数据同步工具调研选型：SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目
头像
Dataops  发布于 2024年08月27日
516浏览

Apache SeaTunnel技术架构演进及其在AI领域的应用

随着数据集成需求的增长，Apache SeaTunnel作为新一代的数据同步引擎，不仅在技术架构上不断演进，也在AI领域展现出其独特的应用价值。在CommunityOverCode Asia 2024大会上，Apache SeaTunnel PMC Chair 高俊 深入探讨SeaTunnel的技术演进路径，分析其在AI领域的应用案例，并展望未来的发展规划。
头像
Dataops  发布于 2024年08月27日
134浏览

Apache SeaTunnel MCP Server：让AI成为你的ETL助手

Apache SeaTunnel MCP Server 是基于MCP协议的服务器，为AI编程工具（如Cursor）提供SeaTunnel接口文档集成，支持通过自然语言交互实现作业提交、监控、日志解析等功能。开发者只需配置Python环境和SeaTunnel 2.3.9+，即可通过AI助手完成RESTful API调用、配置文件生成等操作，提升数据开发效率。
SeaTunnel自动化运维RESTful API数据集成MCPLLM大数据AI编程
头像
巨人肩膀小编  发布于 18 days ago
15浏览

Apache SeaTunnel 项目介绍

Apache SeaTunnel 项目的定位是 EtLT 时代的新一代数据集成平台。EtLT 是 ETL 和 ELT 的演进，ETL 是早期数据同步到数仓的一种方式，首先从数据源中抽取数据，接着对数据进行转化，比如聚合、校验等计算，再把数据加载到数仓中。随着数据源的增多和数仓架构的演进，ELT 时代到来，数据先加载到数仓，再利用数仓的计算集群进行大批量计算。
头像
海星之梦  发布于 01月19日
114浏览

OPPO 选择 SeaTunnel：提升平台开发与生产能力

本文介绍了智能推荐系统的特征平台和样本中心建设，采用Apache SeaTunnel作为数据处理基础，实现特征高效生产和存储，样本管理、生成和回迁。采用Flink流批一体化计算架构，提升效率和一致性。未来规划包括源数据功能深化、多引擎多模式开发和与ChatGPT结合。
头像
海星之梦  发布于 01月19日
53浏览

信也科技基于 Apache SeaTunnel 金融场景的应用实践

信也科技采用Apache SeaTunnel构建离线任务开发运维平台，解决数据推送痛点，实现全链路血缘打通和统一推送框架。已生产环境上线并取得成果，计划扩展更多数据推送场景。
头像
海星之梦  发布于 01月19日
94浏览

教你从头到尾开发一个 SeaTunnel Connector

本文介绍了如何从头开发一个SeaTunnel Connector，包括认领Connector、编译工程、了解Connector相关代码结构、开发中的注意事项以及如何寻求帮助等。同时，也提到了编写E2E测试时需要注意的问题和解决方案。
头像
海星之梦  发布于 01月19日
132浏览

CentOs7.x安装部署SeaTunnelWeb遇到的坑

本文介绍了在CentOs7.x虚拟机上安装Java15和MySQL8.0.28环境后，如何安装部署SeaTunnel。包括下载安装包、设置环境变量、安装连接器插件、启动命令等步骤，并提供了执行官方client提交任务demo的过程和结果。
头像
蛇年大吉  发布于 01月08日
53浏览

Apache Seatunnel本地源码构建编译运行调试

本文介绍了在Windows 10环境下，Apache Seatunnel的源码包下载、环境准备、项目配置、源码编译运行以及MySQL数据库之间的单表数据同步的详细步骤。包括遇到问题的解决方案。
头像
蛇年大吉  发布于 01月08日
90浏览

Apache SeaTunnel 社区 2024 年度报告

2024 年是 Apache SeaTunnel 社区高速成长的一年。从技术创新到用户生态，从版本发布到社区活动，我们见证了无数开发者与企业在数据集成领域的探索与突破。
头像
数智先锋  发布于 01月02日
33浏览

共创排行榜

SeaTunnel-2024年度用户案例精选

2025 年即将到来, Apache SeaTunnel 社区用户案例精选也跟大家见面啦！

916
0

Seatunnel从入门到实践

本专栏主要针对帮助读者完成Seatunnel的单机、集群安装部署、使用入门、常见错误排查以及生产实践中部署、使用、常见问题排查等。

3320
0

SeaTunnel初识

一个简单易用的数据集成框架，在企业中，由于开发时间或开发部门不通用，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。

3312
2