Dolphinscheduler

官方入驻
DolphinScheduler (海豚) 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
Apache调度开源
1129
4

SeaTunnel

官方入驻
SeaTunnel是一个简单易用的数据集成框架,由于开发时间或开发部门不通用,往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。
Apache开源数采
1042
4

PowerData

社区入驻
我们是由一群数据从业人员,因为热爱凝聚在一起,以开源精神为基础,组成的PowerData数据之力社区。 Power代表力量, Data代表数据 PowerData代表我们想要将国内数据力量通过社区凝聚在一起,专注自我提升,推动行业发展。
大数据开源
943
4

Dinky

社区入驻
Dinky是一个开源项目,它基于Apache Flink进行扩展,增强Flink的应用与体验,探索流式数仓。Dinky致力于实时计算平台建设,让Flink SQL纵享丝滑。Dinky(原Dlink)原意为“小巧而精致的”,直观地表明了它的特征:轻量级但又具备复杂的大数据开发能力。“Data Integrate No Knotty”的首字母组合,寓意“数据整合不难”,易于建设批流一体平台及应用。Dinky由Apache Flink社区的贡献者创建,它的目标是站在巨人肩膀上创新与实践,在未来批流一体的发展趋势下潜力无限。
DevOpt开源计算
720
5

有趣的开源集市

博主入驻
分享有趣的开源、免费的产品、工具、技术、市场趋势等内容
开源
192
1

StarRocks

StarRocks 是一款极速统一的Lakehouse产品,具备水平在线扩缩容,金融级高可用,兼容 MySQL 5.7 协议和 MySQL 生态,提供全面向量化引擎与多种数据源联邦查询等重要特性。StarRocks 致力于在全场景 OLAP 业务上为用户提供统一的解决方案,适用于对性能,实时性,并发能力和灵活性有较高要求的各类应用场景。
数据库

Bigtop

社区入驻
面向基础设施工程师和数据科学家,寻求领先的开源大数据组件的全面打包、测试和配置方式。Bigtop支持广泛的组件/项目,包括但不限于Hadoop、HBase和Spark。
ApacheDevOpt
71
0

HiDataPlus

社区入驻
一个可持续升级的免费Hadoop发行版。HidataPlus是由几个热爱开源软件的成员组成,因为Hortonworks和Cloudera合并等原因,原有的HDP版本不再更新,于是我们尝试进行了集成新的版本。
DevOpt开源行业
90
2

小阳杂说

博主入驻
欢迎光临 FlinkSQL 专栏,这里是你探索 Apache Flink 和 Flink SQL 的神秘宝藏!最佳实践和精彩的实战案例。无论你是初出茅庐的小白还是身经百战的老手,都会找到自都会找到自己的学习乐趣。
后端大数据
196
3

Golang

Go 富有表现力、简洁、干净和高效。它的并发机制可以轻松编写程序,充分利用多核和联网机器,而其新颖的类型系统可以实现灵活和模块化的程序构建。Go 可以快速编译为机器代码,但具有垃圾收集的便利性和运行时反射的能力。
编程语言开源
91
0

Web前端

Web前端开发主要涉及网页的页面展示、‌与用户交互等方面,‌包括但不限于公司官网、‌移动端网页、‌移动端APP、‌微信小程序等。‌随着互联网的发展,‌现代网页不仅美观,‌还具有显著的交互效果和强大的功能。‌
行业前端
390
2

OpenMetadata

一个可供所有数据和所有数据从业者构建和管理高质量数据资产的地方。由Collate和Apache Hadoop、Apache Atlas和Uber Databook的创始人共同打造。
开源治理
238
0

DataHub

一个可扩展的数据目录,支持数据发现、数据可观察性和联合治理,以帮助降低数据生态系统的复杂性。
开源治理
219
0

SQLLineage

总是无法掌握SQL解析器的使用方法?SQLLineage 来了。给定一个SQL命令,SQLLineage会告诉你它的源表和目标表,而不用担心SQL解析器使用的令牌、关键字、标识符和所有jagons。
查询开源计算治理
304
1

数据平台架构

探讨与分享数据架构设计思考与实践。共学共进数据架构能力,实现数据驱动的业务增长,共创数据价值新篇章。
行业
376
1

Celeborn

Apache
是大数据计算引擎(即ETL、OLAP和流式处理引擎)的中间数据服务,旨在提高性能、稳定性和灵活性。中间数据通常包括混洗数据和溢出数据。
开源计算
255
0

Kyuubi

Apache
一个分布式多租户网关,用于在数据仓库和Lakehouses上提供无服务器SQL。
开源计算
250
0

数据分析

博主入驻
定期分享数据分析领域的最新动态、实战案例、技术工具评测、数据可视化技巧以及行业洞察报告,旨在打造一个集学习、交流与成长为一体的数据分析爱好者社群。
数据分析师
1467
3

Presto

快速可靠的数据分析SQL引擎和开放式Lakehouse
173
0

Python开发

一种高级编程语言。它语法简洁易读,支持面向对象编程,具有丰富的标准库和强大的可扩展性,能在多种平台上运行。Python适用于快速开发应用,广泛用于数据科学、Web开发等领域。
421
0

Druid

一个高性能的实时分析时序数据库,可以在一定规模和负载下对流式数据和批处理数据进行秒级查询。
时序数据库交互分析
271
0

AI应用开发

利用人工智能技术,设计、构建和维护软件应用程序,通过大语言模型等应用平台,快速搭建生产级的生成式AI应用,以提高工作效率、减少重复性劳动,并推动个人和企业的发展。
581
1

数据结构和算法

数据结构和算法是计算机科学的两大基石,数据结构关注数据的组织、存储和管理方式,以提高数据的访问和修改效率;而算法则研究解决问题的步骤和方法,旨在通过最有效的操作序列快速解决问题。两者相辅相成,是实现高效程序设计的关键。
198
0

嵌入式开发

在一定硬件条件下的系统化设计和软件研发,涵盖了软件、硬件的综合开发。
453
0

Redis

作为您的NoSQL数据库,构建快速、可靠的应用程序,使“99999”的正常运行时间看起来很容易。
298
0

maven

一个软件项目管理和理解工具。基于项目对象模型(POM)的概念,Maven可以从中心信息中管理项目的构建、报告和文档。
开源
238
0

Gradle

Gradle是Java、Android和Kotlin开发人员首选的开源构建系统。从移动应用程序到微服务,从小型初创公司到大企业,它可以帮助团队更快地交付更好的软件。
开源
283
1

Gravitino

它可以管理来自不同来源、类型和地区的元数据,支持多种类型的数据目录,如 Apache Hive 元存储、Apache Iceberg 表、关系存储、文件集、Apache Kafka 等消息系统,以及对 Trino、Apache Spark 和 Apache Flink 的多引擎支持。
治理
678
2

Phoenix

Apache
Apache Phoenix(Apache Phoenix Query Server)是一个强大的 SQL 查询引擎,适用于快速查询和更新大规模结构化数据,可用于高并发的事务处理和实时查询,同时也提供了高级特性,如按行版本控制、倒排索引等,方便开发人员构建应用程序和进行数据分析。
查询开源

Ranger

Apache
一个提供集中式安全管理框架的开源项目,它通过对库表配置不同的访问策略,再赋权给用户,达到数据隔离的目的。Apache Ranger目前集成了Hadoop生态中众多不同的系统,已经覆盖了Hive、HDFS、Yarn、HBase、Kafka、Kudu、Solr等17类。Apache Ranger支持审计日志,可以记录各种操作的审计日志,提供统一的查询接口和界面。
开源治理

Atlas

Apache
Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心功能。
开源治理

Pulsar

Apache
Pulsar是下一代云原生分布式消息流平台,集消息、存储、轻量化函数计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、跨区域复制、具有强一致性、高吞吐、低延迟及高可扩展性等流数据存储特性。
开源计算

Prometheus

Prometheus 是一款基于时序数据库的开源监控告警系统,非常适合Kubernetes集群的监控。Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态,任意组件只要提供对应的HTTP接口就可以接入监控。
时序数据库开源运维

Azkaban

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的dependencies来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流.
调度

Beam

Apache
Beam的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。Apache Beam项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。
DevOpt开源

物理围栏

地理围栏(Geo-fencing)/电子围栏是一种基于地理位置的技术,它使用虚拟的边界来围出一个特定的地理区域。当移动设备,如智能手机或汽车,进入或离开这个设定的区域时,可以自动接收通知或警告。这种技术在多个领域有广泛的应用。
开源

Nmon

Nmon是由IBM 提供、免费监控 AIX 系统与 Linux 系统资源的工具。该工具可将服务器系统资源耗用情况收集起来并输出一个特定的文件,并可利用 excel 分析工具(nmon analyser)进行数据的统计分析。
运维

MongoDB

MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。
数据库

MQTT

MQTT(Message Queuing Telemetry Transport)是一种基于发布/订阅模式的轻量级消息传输协议,它被广泛用于物联网(IoT)场景,特别是那些需要低功耗、小数据包、不可靠或高延迟网络的环境。MQTT协议设计得简单、轻量,并且能够高效地传输消息。
协议

MySQL

MySQL是一个开源的关系型数据库管理系统(RDBMS)。它使用了一种名为Structured Query Language(SQL)的语言进行数据操作和管理。MySQL由瑞典公司MySQL AB开发,后来被Sun Microsystems收购,最终被甲骨文公司(Oracle Corporation)收购。MySQL是一个广泛应用于Web开发的数据库系统,它可以与许多编程语言(如PHP、Python、Java等)配合使用,并且支持大量的并发用户连接。
数据库开源

新零售

新零售大数据是指在新零售背景下,通过对海量数据的收集、处理和分析,挖掘出消费者的需求和行为特征,以实现精准营销、精细化运营和提高用户体验的一种数据驱动的零售模式。。
行业

Nifi

Apache
NiFi的基本设计理念是基于数据流的编程Flow-Based Programming(FBP),应用是由处理器、连接器组成的网络。数据进入一个节点,由该节点对数据进行处理,根据不同的处理结果将数据路由到后续的其他节点进行处理。
开源数采

Oracle

Oracle开发的关系数据库产品因性能卓越而闻名,Oracle数据库产品为财富排行榜上的前1000家公司所采用,许多大型网站也选用了Oracle系统,是世界最好的数据库产品。
数据库

Paimon

Apache
Apache Paimon是一个流数据湖平台,具有高速数据摄取、变更日志跟踪和高效的实时分析的能力。
数据湖开源

Calcite

Apache
Apache Calcite是一个动态数据管理框架,它提供了SQL解析、查询优化和执行的功能,旨在构建自定义的SQL处理管道,并能在各种数据源之间进行查询和转换。
开源计算