Flink知道 | 巨人肩膀

Flink知道

Hadoop大数据开发中经常遇到NoSuchobjectException类似找不到类的异常

大多数情况不是因为缺少pom依赖配置，而是你的pom依赖scope设置了provide： provide原因：设置了provide的依赖不会打进jar减少jar的体积（当然前提是这些包在你运行环境已经存在）解决: 添加Add dependencies with "provided" scope t...

HadoopFlinkHive分享

数智先锋提问于 2024年08月02日

117浏览

3点赞

写Hive时报Permission denied: user

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=xxx, access=WRITE, inode=...

FlinkHadoop分享

数智先锋提问于 2024年08月02日

93浏览

Shell脚本-表数据覆盖重写方式合并Hive表小文件

Hive表小文件合并-表数据覆盖重写： tablename=$1 #带库名的表面 dateStr=$2 #需要过滤的分区子字符串 # 列出所有分区进行grep分区 for i in `hive -e "show partitions $tablename" | grep $dateStr` do ...

HiveFlinkLinux 已采纳分享

海星之梦提问于 2024年07月22日

73浏览

1回答

Kafka实例消费流量猛增异常排查

1、今天发现Kafka实例消费流量在某个时刻后猛增： 2、和相关同事确认也没有加新的消费任务，上游的数据生产也很平稳，这个就很奇怪了。 3、开始排查想确认是哪个topic哪个消费组引起的，刚开始都是从流量比较大的topic开始找，一切正常，都挺平稳的通过查看消费组的消费堆积及速度监控也没有找到异...

FlinkKafka分享

海星之梦提问于 2024年07月19日

51浏览

有没有Flink开发做兼职的兄弟

Flink分享

忆往昔提问于 2024年06月18日

85浏览

3点赞