知道 | 巨人肩膀

知道

新来的同事问我 where 1=1 是什么意思

在日常的工作中，我们经常会遇到各种各样的问题。有时候，新来的同事会提出一些看似简单但其实背后有很多讲究的问题。比如，最近有个新同事问我 "where 1=1 是什么意思"。这个问题乍一看很简单，但其中涉及的内容其实相当广泛，包括SQL语句的优化、索引的使用、以及数据库查询的性能等多个方面。首先，直...

数据分析MySQL分享

数智先锋提问于 2024年07月22日

69浏览

大厂中Git 代码提交规范，feat、fix、refactor都是什么意思?

Git 代码提交的常见规范在团队合作中，良好的提交规范可以提升代码质量和项目管理的效率。以下是常见的 Git 提交规范： 1. 提交信息的格式 <type>(<scope>): <subject> <空行> <body> <空行> <footer> type：提交的类型，描述提交的目的。 scop...

Git分享

数智先锋提问于 2024年07月22日

261浏览

Shell脚本-表数据覆盖重写方式合并Hive表小文件

Hive表小文件合并-表数据覆盖重写： tablename=$1 #带库名的表面 dateStr=$2 #需要过滤的分区子字符串 # 列出所有分区进行grep分区 for i in `hive -e "show partitions $tablename" | grep $dateStr` do ...

HiveFlinkLinux 已采纳分享

海星之梦提问于 2024年07月22日

73浏览

1回答

Kafka实例消费流量猛增异常排查

1、今天发现Kafka实例消费流量在某个时刻后猛增： 2、和相关同事确认也没有加新的消费任务，上游的数据生产也很平稳，这个就很奇怪了。 3、开始排查想确认是哪个topic哪个消费组引起的，刚开始都是从流量比较大的topic开始找，一切正常，都挺平稳的通过查看消费组的消费堆积及速度监控也没有找到异...

FlinkKafka分享

海星之梦提问于 2024年07月19日

51浏览

Hive jdbc连接不上（腾讯云emr集群）

今天突然每天运行好好的T+1任务失败了，一看发现是Hive jdbc连接超时然后开始了我的排查 1、看连接的HiveServer2的状态又是Ok的： 2、看HiveServer2日志： cd /data/emr/hive/logs tail -f hadoop-hiveserver2 除了一些war...

Hive

海星之梦提问于 2024年07月19日

悬赏100

83浏览

2回答

Hive操作-删除表(drop、truncate)

Hive删除操作主要分为几大类：删除数据（保留表）、删除库表、删除分区。一、仅删除表中数据，保留表结构 hive> truncate table 表名; truncate操作用于删除指定表中的所有行，相当于delete from table where 1=1.表达的是一个意思。注意：trunc...

Hive分享

海星之梦提问于 2024年07月17日

49浏览

避开BigDecimal的四大陷阱，确保精度无忧！

BigDecimal是Java中用于高精度计算的类，主要用于避免浮点数计算中的误差问题。然而，在使用BigDecimal时，仍然有一些常见的陷阱可能会导致问题。以下是四个常见的陷阱：陷阱一：直接使用浮点数构造`BigDecimal` 问题描述直接使用double或float构造BigDecima...

Java分享

忆往昔提问于 2024年07月17日

25浏览

大数据 hive metastore 与 hivesever2 关系

Hive Metastore和HiveServer2是Hive中两个不同的组件，它们在Hive的体系结构中扮演着不同的角色，但它们之间有一定的关系。 1、Hive Metastore是Hive的元数据存储和管理组件。它负责管理Hive中的表、分区、列、表的属性等元数据信息。Hive Metastor...

Hive分享

海星之梦提问于 2024年07月17日

68浏览

1点赞

成为数据分析师需要具备哪些能力和素养？

数据分析已采纳分享

巨人肩膀小编提问于 2024年07月08日

73浏览

1回答

公有云与私有云的定义是什么？

公有云（Public Cloud）公有云是指由第三方云服务提供商拥有、管理和运营的云计算服务。是最常见的云计算类型，由多租户共享基础设施和应用程序。这种云服务模式将计算资源、存储和其他服务通过互联网提供给公众，用户可以根据需求购买和使用这些资源，无需在硬件和软件上进行大量投资。公有云具有高可用性和...

数据平台架构分享

提问于 2024年07月08日

39浏览

1点赞

一波免费的Docker加速地址，亲测可用

估计最近很多 IT人都被 Docker hub 镜像不能直接Pull搞的头大。因为本公众号推荐的很多项目都需要采用 Docker 部署，所以本人一直留心一些Docker镜像的加速代理。上午花费了点时间将平时用的Docker加速地址整理了下，大家可以在服务器里面配置直接使用，亲测了一遍，目前都是可以...

Docker分享

随风提问于 2024年07月06日

1176浏览

1点赞

1收藏

MySQL 9.0 重磅发布，性能飞跃迈向数据库新时代

MySQL，这个广受欢迎的开源关系数据库管理系统，正式发布了 9.0 版本。本次发布不仅延续了 MySQL 一贯的稳定性和高性能，还引入了许多新功能和改进，进一步提升了其在现代数据库管理中的地位。同时，本次更新也弃用了一些旧功能，并移除了过时的组件，以确保系统的简洁性和效率。以下是具体内容。 My...

MySQL分享

忆往昔提问于 2024年07月03日

131浏览