1、WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped

Spark3以上版本问题,并不影响使用

出现该问题的版本为

Spark v3.0.0以上版本

Hadoop v2.7.0

Scala v2.12.15

2、org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 1

l 场景

l 原因

n shuffle分为shuffle write和shuffle read两部分。shuffle write的分区数由上一阶段的RDD分区数控制，shuffle read的分区数则是由Spark提供的一些参数控制。shuffle write可以简单理解为类似于saveAsLocalDiskFile的操作，将计算的中间结果按某种规则临时放到各个executor所在的本地磁盘上。shuffle read的时候数据的分区数则是由spark提供的一些参数控制。可以想到的是，如果这个参数值设置的很小，同时shuffle read的量很大，那么将会导致一个task需要处理的数据非常大。结果导致JVM crash，从而导致取shuffle数据失败，同时executor也丢失了，看到Failed to connect to host的错误，也就是executor lost的意思。有时候即使不会导致JVM crash也会造成长时间的gc。

l 解决方案

n 减少shuffle数据。思考是否可以使用map side join或是broadcast join来规避shuffle的产生。将不必要的数据在shuffle前进行过滤，比如原始数据有20个字段，只要选取需要的字段进行处理即可，将会减少一定的shuffle数据。
n SparkSQL和DataFrame的join,group by等操作。通过spark.sql.shuffle.partitions控制分区数，默认为200，根据shuffle的量以及计算的复杂度提高这个值。
n Rdd的join,groupBy,reduceByKey等操作。通过spark.shuffle.io.maxRetries控制重试次数，默认是3，可适当增加，例如10。通过spark.shuffle.io.retryWait控制重试的时间间隔，默认是5s，可适当增加，例如10s。
n 提高executor的内存
n 是否存在数据倾斜的问题

3、Exception in thread "main" java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.

l 场景

l 原因

n Spark读取文件时hive-site.xml中配置过下列Lzo压缩的属性类时

<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
<property>
    <name>io.compression.codecs</name>      
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

l 解决方案

方法1: 添加hadoop-lzo-x.xx.xx.jar依赖
方法2: 删掉xml配置中引用的lzo配置项

4、java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path

l 场景

l 原因

n Spark读取文件时hive-site.xml中配置过下列Lzo压缩的属性类时

<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
<property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

l 解决方案

n 如果读取的文件不是Lzo压缩格式时可以忽略该异常不影响，否则

5、Exception in thread "main" java.lang.AssertionError: assertion failed: each serializer expression should contain at least one `BoundReference`

l 场景

l 原因

n groupByKey使用Scala中的Tuple2元组类型作为Key分组时出现

groupByKey(new MapFunction<Tuple2, Tuple2>()

l 解决方案

n groupByKey只能使用String类型作为Key?

6、WARN TaskSetManager: Lost task 3.0 in stage 4.0 (TID 215, 10.123.69.42, executor 2): java.io.IOException: The client is stopped

l 场景

l 原因

n 在Spark算子中对FileSystem进行了close()资源释放

l 解决方案

n FileSystem不需要进行close()处理

7、The root scratch dir: /tmp/hive on HDFS should be writable.Current permissions are: ------

l 场景

n windows本地idea测试时出现本机C:/tmp/hive权限问题

l 原因

l 解决方案

n %HADOOP_HOME%\bin\winutils.exe chmod 777 C:\tmp\hive

8、org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply from LAPTOP-U2JQC9EK:30085 in 600 milliseconds. This timeout is controlled by spark.executor.heartbeatInterval

l 场景

n windows本地idea测试时出现

l 原因

n SparkSession.builder().config("spark.executor.heartbeatInterval", "600")

l 解决方案

n 调大SparkSession.builder().config("spark.executor.heartbeatInterval", "600")

9、java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds]

l 场景

l 原因

n 提交Spark Job时用的是yarn模式,代码里却设置了Master为本地模式

l 解决方案

n 去掉System.setProperty("spark.master", "local[*]");

10、org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out

l 场景

n Spark写Hive时抛出该异常

l 原因

n 写出的分区数太多导致元数据压力太大->Spark访问的hive元数据节点异常。本次案例为写出的分区数太多导致->Hive的Mysql元数据库存在异常

n 如何找到hive元数据节点?在Spark Job ApplicationMaster Web -> Environment -> hive.metastore.uris

l 解决方案

n 减少分区

11、Communications link failure:The last packet successfully received from the server was

l 场景

n Spark JDBC访问Mysql时出现

l 原因

n 连接超时

l 解决方案

n 在jdbc url中添加参数:autoReconnect=true

12、==WARNING== allocating large array--thread_id[0x00007f302f53a000]--thread_name[Driver]--array_size[572373640 bytes]--array_length[572373618 elememts] "Driver" #25 prio=5 os_prio=0 cpu=36978.49ms elapsed=122.91s tid=0x00007f302f53a000 nid=0x801e6 runnable [0x00007f2fd580b000] java.lang.Thread.State: RUNNABLE

l 场景

n 80万个key，一共3个g的数据，有的key一个就占了400M，2张表一旦关联，一旦关联到这个超大key每多一条数据内存就增加400M

l 原因

n 该数据存在严重大Value情况

l 解决方案

n 如果引发内存溢出导致Application失败,增加thread_name所属实例的内存,如本例子thread_name[Driver]即增加Driver内存

13、ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 41, Column 65: No applicable constructor/method found for zero actual parameters

l 场景

n Spark计算时使用Java bean对象进行传输时

l 原因

l 解决方案

n java bean对象需定义为public并实现序列化接口

14、org.apache.spark.shuffle.FetchFailedException: java.nio.file.NoSuchFileException

l 场景

n Spark shuffle时出现

l 原因

n shuffle时出现严重的数据倾斜。在App Web UI->Stages->Description->Aggregated Metrics by Executor页面中可以看到某些Task处理数据量比其他的多。

n shuffle操作时,后面stage的task想要去上一个stage的task所在的Executor拉取数据,结果对方正在GC,执行GC会导致Executor内所有的工作全部停止,这就导致后面的task拉取了半天都没有拉取到报该异常

l 解决方案

n 解决shuffer倾斜问题

n 设置shuffle io失败重试次数和时间间隔？(未验证):new SparkConf().set("spark.shuffle.io.maxRetries","10").set("spark.shuffle.io.retryWait","60s");

16、Caused by: org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 24, Column 48: failed to compile: org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 24, Column 48: No applicable constructor/method found for zero actual parameters; candidates are: "public org.apache.spark.sql.Row org.apache.spark.sql.Row$.apply(scala.collection.Seq)"

l 场景

n Dataset.rdd()时出现

n Dataset算子返回Tuple时出现