Flink
Doris
SeaTunnel
数据分析
车联网
Dolphinscheduler
用户画像
StarRocks
Kafka
PowerData
Agile Query
Dinky
Hadoop
Streampark
Linux
Hive
Gravitino
MySQL
Clickhouse
新零售
数据仓库/中台
Atlas
Docker
AI应用开发
Paimon
数据治理
Spark
智能制造
物理围栏
嵌入式开发
Web前端
Hudi
Kubernetes
Java
规则系统
Python开发
Calcite
有趣的开源集市
Drools
金融
Dbeaver
Nifi
数据平台架构
Linkis
Datart
Git
Kettle
Elasticsearch
MongoDB
Ranger
Ambari
Hbase
Redis
游戏
Zookeeper
SQLLineage
Datax
Celeborn
Gradle
Druid
Iceberg
OpenMetadata
Kyuubi
指标中台
maven
Superset
FineReport
Griffin
物流
数据湖
Canal
DataHub
Flume
数据结构和算法
Tidb
MinIo
Debezium
数智化
Sqoop
Beam
StreamSets
Airflow
Azkaban
Kudu
Amoro
Zeppelin
MQTT
Tez
Zabbix
Nmon
Storm
小阳杂说
Telegraf
Maxwell
Kylin
Prometheus
Oracle
Phoenix
Sentry
Pulsar
Davinci
Filebeat
Svn
Hue
Cassandra
Oozie
Greenplum
Impala
Grafana
HiDataPlus
Presto
InfluxDB
Bigtop
雷达视频设备应用
Golang
巨人肩膀
大数据启示录
数智领航
网络安全
asdasd
动力电池
d3ed4
书籍共享
测试私密home显示
dasdas55555
SFF
无匹配社区
博客园
最新
热门
请选择社区
发布
HTTPS那么强大仅仅就是比HTTP安全那么简单吗
HTTPS通过SSL/TLS协议提供安全通信,采用加密、身份验证和数据完整性机制保护数据传输安全。相比HTTP,HTTPS具备加密传输、数字证书验证、防止中间人攻击和数据完整性保证等优势。
车车
发布于 a day ago
12 浏览
Docker如何管理镜像
Docker镜像是Docker容器技术的核心,通过Dockerfile自动化构建。镜像管理包括创建、构建、推送、拉取及高级管理和安全性考量。合理使用标签、选择轻量级基础镜像、定期安全扫描和最小权限原则等是确保Docker环境安全的关键。
车车
发布于 a day ago
9 浏览
第9章 前向神经网络
深度前馈网络是一类神经网络模型,通过多层感知机实现复杂函数映射。问题涉及多层感知机表示布尔函数的最少层数和节点数。单隐层情况下,需要指数级节点数;多隐层可通过减少层数至对数级别来降低节点数。最少节点数与输入元数呈线性关系,最少层数取决于输入元数的对数。
数据结构和算法
海星之梦
发布于 a day ago
11 浏览
第7章 优化算法
无约束优化问题的优化方法有梯度下降法、牛顿法、共轭梯度法等。这些方法适用于不同的场景,如梯度下降法适用于大规模数据集,牛顿法适用于局部极小值较多的情况。此外,还有凸优化中的线性规划、二次规划等也有广泛应用。
数据结构和算法
海星之梦
发布于 a day ago
9 浏览
第1章 特征工程
本文介绍了在机器学习中如何处理类别型特征和高维组合特征的问题。通过序号编码、独热编码和二进制编码等方式处理类别型特征,通过降维和基于决策树的方法寻找有效的组合特征,以提高模型的拟合能力。
数据结构和算法
海星之梦
发布于 2 days ago
32 浏览
机器学习算法工程师的自我修养
本书涵盖了机器学习算法工程师所需的核心知识体系,包括特征工程、模型评估、经典算法、降维、非监督学习、概率图模型、优化算法、采样、前向神经网络、循环神经网络、强化学习和集成学习等方面的内容。本书通过深入剖析各种机器学习模型的理论和实践,帮助读者成为具备扎实理论基础和实际应用能力的机器学习算法工程师。
数据结构和算法
海星之梦
发布于 2 days ago
9 浏览
白面机器学习-封面
本书由一线机器学习算法工程师撰写,收录超过100道真实场景面试题目和解答。内容涵盖机器学习、神经网络、强化学习等领域,旨在帮助读者掌握成为优秀算法工程师的技能,建立对机器学习的热爱。通过问答形式,生动展示人工智能领域的应用和前景。
数据结构和算法
海星之梦
发布于 2 days ago
15 浏览
推荐一套开源电商项目数据湖建设实战代码
推荐一套数据湖建设实战项目代码,涉及MySQL、Seatunnel、Doris等组件构建离线数仓和Kafka、Flink等构建实时数仓。代码包括数据采集、任务编排和数据展示等部分。欢迎添加作者讨论。
数据仓库/中台
Flink
Doris
海星之梦
发布于 3 days ago
16 浏览
成本下降50腾讯音乐StarRocks存算分离大规模实践
腾讯音乐采用StarRocks存算分离架构构建湖仓一体新方案,实现降本增效。通过迁移实践,性能不变且成本降低,简化运维与快速弹性。最佳实践包括数据打散到多个对象存储桶、写入反压改造和集群吞吐配置优化等。监控和调优是关键。
数据仓库/中台
Flink
Doris
海星之梦
发布于 3 days ago
13 浏览
Apache SeaTunnel 项目介绍
Apache SeaTunnel 项目的定位是 EtLT 时代的新一代数据集成平台。EtLT 是 ETL 和 ELT 的演进,ETL 是早期数据同步到数仓的一种方式,首先从数据源中抽取数据,接着对数据进行转化,比如聚合、校验等计算,再把数据加载到数仓中。随着数据源的增多和数仓架构的演进,ELT 时代到来,数据先加载到数仓,再利用数仓的计算集群进行大批量计算。
SeaTunnel
海星之梦
发布于 3 days ago
15 浏览
OPPO 选择 SeaTunnel:提升平台开发与生产能力
本文介绍了智能推荐系统的特征平台和样本中心建设,采用Apache SeaTunnel作为数据处理基础,实现特征高效生产和存储,样本管理、生成和回迁。采用Flink流批一体化计算架构,提升效率和一致性。未来规划包括源数据功能深化、多引擎多模式开发和与ChatGPT结合。
SeaTunnel
海星之梦
发布于 3 days ago
10 浏览
信也科技基于 Apache SeaTunnel 金融场景的应用实践
信也科技采用Apache SeaTunnel构建离线任务开发运维平台,解决数据推送痛点,实现全链路血缘打通和统一推送框架。已生产环境上线并取得成果,计划扩展更多数据推送场景。
SeaTunnel
海星之梦
发布于 3 days ago
10 浏览
教你从头到尾开发一个 SeaTunnel Connector
本文介绍了如何从头开发一个SeaTunnel Connector,包括认领Connector、编译工程、了解Connector相关代码结构、开发中的注意事项以及如何寻求帮助等。同时,也提到了编写E2E测试时需要注意的问题和解决方案。
SeaTunnel
海星之梦
发布于 3 days ago
12 浏览
HarmonyOS智能座舱体验是怎样炼成的立即查看
文章介绍了华为HarmonyOS智能座舱的设计理念、应用高效设计开发方法以及软硬件联合打造优秀体验的方法。包括智能座舱的人因设计理念、应用基础要求、开发禁止事项、更佳体验的设计规范,以及音频类应用快速接入和手机服务卡片快速适配座舱的方案。同时,通过小憩模式和K歌体验两个实际案例介绍了软硬件联合体验的创新应用。
春风得意
发布于 7 days ago
12 浏览
HarmonyOS开发指导类文档更新速递上
HarmonyOS 5.0.0 Release更新了文档,包括ArkUI框架、ArkWeb和AudioKit等内容的更新。新内容涵盖了UI框架的使用弹窗、自定义扩展、属性字符串等,Web组件丰富了网页端实现场景,优化了同层渲染。AudioKit提供了音频流类型和音频焦点管理指导。欢迎反馈意见,以持续提升文档体验。
春风得意
发布于 7 days ago
10 浏览
HarmonyOS语言基础类库开发指南上线啦
HarmonyOS语言基础类库开发指南包括并发能力、容器类库能力、XML生成解析与转换等。提供异步并发和多线程并发能力,TaskPool和Worker实现多线程。提供容器类库基础操作,包括线性容器和非线性容器。同时支持XML生成、解析与转换。我们期待您的反馈,不断提升文档体验。
春风得意
发布于 7 days ago
13 浏览
AI产品经理RAG面试知识点汇总
RAG是Retrieval Augmented Generation的缩写,是一种结合检索和生成技术的AI应用方法。它通过检索相关信息增强模型的回答,解决大型模型在知识更新和特定领域知识方面的局限。RAG包括优势、技术概述、核心技术、实际应用痛点、优化策略、评测方法、关键指标和能力、多模态和Self、架构优化等方面。
春风得意
发布于 7 days ago
10 浏览
面向AI的数据治理体系如何构建
人工智能与数据治理的结合,推动了大数据智能市场的蓬勃发展。数据治理为人工智能提供优质数据和保障数据隐私,而人工智能提升了数据治理的智能化水平。二者结合,形成了数据治理平台的智能化,推动了行业融合。面向人工智能的数据治理体系的建设,满足了AI应用对数据的高质量要求,形成了“治理+AI”的良性循环。
春风得意
发布于 7 days ago
17 浏览
大数据存储模型训练数据从哪来
大模型的训练数据源包括维基百科、书籍、杂志期刊、Reddit链接等。数据爬取和预处理是训练大模型的关键步骤,包括数据去重、文本语言识别与过滤以及质量过滤等。处理过程中使用WARC、WAT和WET格式的数据存储,以提高数据处理速度和降低数据量。
春风得意
发布于 7 days ago
5 浏览
企业架构规划的四次迭代八个阶段
企业架构规划围绕需求管理核心,分为准备、设计、云原生、实施治理等阶段。业务架构强调战略转化,应用架构关注领域设计,数据架构注重数据管理,技术架构助力系统开发运维。项目实施策略包括破釜沉舟、敏捷迭代和“双模IT”等。整体而言,企业架构规划需结合企业战略、业务需求和数字化转型趋势,逐步构建和优化企业架构。
春风得意
发布于 7 days ago
7 浏览
1
2
3
4
5
6
54