1 driver相关参数

1.1 资源

1.1.1 spark.driver.memory

driver进程（JVM使用）的内存数，一般（memory/cores >= 2g）

通用配置：4g

df.collect()会返回所有数据的list，但是这个方法会将所有数据pull到driver，所以在遇到driver爆内存时，可以注意这一点。参数driver.memory调高。

参数调优建议：Driver的内存通常来说不设置，或者设置1G左右应该就够了。

1.1.2 spark.driver.cores

默认1，driver程序使用的CPU内核数，若无过多driver单机处理操作，一般不需要配置

通用配置：2

1.1.3 spark.driver.memoryOverhead

driver JVM堆外内存的大小，默认为max(384, 0.1 * spark.driver.memory)

此配置存在默认单位MB，因此直接配置数字或带具体单位，最少1g

通用配置：1g

2 executor相关参数

2.1 内存相关

2.1.1 spark.executor.memory

每个executor进程（JVM使用）的内存大小

默认配置：4g

参数调优建议：每个Executor进程的内存设置4G~8G较为合适。但是这只是一个参考值，具体的设置还是得根据不同部门的资源队列来定。可以看看自己团队的资源队列的最大内存限制是多少，num-executors乘以executor-memory，是不能超过队列的最大内存量的。此外，如果你是跟团队里其他人共享这个资源队列，那么申请的内存量最好不要超过资源队列最大总内存的1/4~1/3，避免你自己的Spark作业占用了队列所有的资源，导致别的同学的作业无法运行

2.1.2 spark.executor.cores

每个executor的core数目。每个core同一时间只能执行一个Task线程，cores的数目也就意味着每个executor并行task的数目。

每个task分配的内存大小是executor-memory/executor-cores，可以按照这个分析每个task所占用的内存大小，一般（memory/cores >= 2g）。

每个executor为1个进程，分配一个JVM，考虑到JVM加载task信息的数量，cores个数不要超过5，超出后会容易出现大量加载任务信息导致OOM的情况。

默认配置：2

2.1.3 spark.executor.memoryOverhead

executor JVM堆外内存大小，一般运行非JVM的逻辑

此部分内存主要用于JVM自身，字符串, NIO Buffer（Driect Buffer）等开销。此部分为用户代码及Spark 不可操作的内存，不足时可通过调整参数解决。

此配置存在默认单位MB，因此直接配置数字或带具体单位，最少1g

默认配置：5g

2.1.4 spark.executor.pyspark.memory

python的worker内存，仅在使用pyspark时生效

默认配置：6g

2.1.5 spark.memory.fraction

默认0.75，用于存放缓存数据和运行数据，剩余0.25为User Memory，存放用户定义的数据结构和Spark元数据信息。

在用户persist大量数据或者shuffle聚合数据量比较大时可以考虑增加该值

缓存持久化(persist) + 运行(shuffle+执行编写的代码) = memory.fraction，默认为0.75，persist用memory.storageFraction参数指定，默认0.5

2.1.6 spark.memory.storageFraction（spark.memory.useLegacyMode（代表启用spark1.6前的版本）时，spark.storage.memoryFraction）

默认0.5， storage内存大小，用于存储缓存数据，剩余空间用于execute。

在Unified Memory Manage模式下，内存会自动调整，分配storage和execute使用，但是在storage内存不足时，会要回所有分配的内存。

在用户shuffle处理数据比较大时可减小该参数

2.1.7 spark.memory.offHeap.size

设置JVM堆外内存大小，可以运行executor JVM相关计算，默认为5000000000，即5G。

一般任务中只有部分shuffle需要大量操作，内存可能OOM时启用，在spark.memory.offHeap.enabled设为true时启用。

此配置存在单位B，因此直接配置数字即可

默认配置：4000000000

2.2 并行度相关

2.2.1 spark.executor.instances

设置spark作业executor的个数executor.instances * executor.cores为当前application内并行运行task数，需要根据spark.sql.shuffle.partitions判断，一般保证executor.instances * executor.cores <= partitions / 2

通用配置：10

参数调优建议：每个Spark作业的运行一般设置50~100个左右的Executor进程比较合适，设置太少或太多的Executor进程都不好。设置的太少，无法充分利用集群资源；设置的太多的话，大部分队列可能无法给予充分的资源。

2 shuffle相关

2.1 落盘

2.1.1 spark.shuffle.spill.numElementsForceSpillThreshold

默认256000000，即256M。

shuffle超过该数据会强行落盘此配置存在单位B，因此直接配置数字即可

通用配置：256000000

2.1.2 spark.shuffle.file.buffer

默认值：32k

参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘。

调优建议：可以适当增加这个参数的大小（比如64k），从而减少shuffle write过程中溢写磁盘文件的次数，也就可以减少磁盘IO次数，进而提升性能。

2.2 SQL相关

2.2.2 spark.sql.shuffle.partitions

对Spark SQL专用的设置

默认200，用于设置shuffle时partition的数目，只作用于SQL、DataSet的join/aggregations，无法对纯map操作生效。该参数代表了shuffle read task的并行度。

在用户shuffle OOM时，可考虑增大数目

通用配置：200

2.3 网络

2.3.1 spark.reducer.maxSizeInFlight

默认值：48m

参数说明：该参数用于设置shuffle read task的buffer缓冲大小，而这个buffer缓冲决定了每次能够拉取多少数据。

调优建议：适当增加这个参数的大小（比如96m），从而减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。

2.4 容错

2.4.1 spark.shuffle.io.maxRetries

默认值：3

参数说明：shuffle read task从shuffle write task所在节点拉取属于自己的数据时，如果因为网络异常导致拉取失败，是会自动进行重试的。该参数就代表了可以重试的最大次数。如果在指定次数之内拉取还是没有成功，就可能会导致作业执行失败。

调优建议：对于那些包含了特别耗时的shuffle操作的作业，建议增加重试最大次数（比如60次），以避免由于JVM的full gc或者网络不稳定等因素导致的数据拉取失败。

2.4.2 spark.shuffle.io.retryWait

默认值：5s

参数说明：具体解释同上，该参数代表了每次重试拉取数据的等待间隔，默认是5s。

调优建议：建议加大间隔时长（比如60s），以增加shuffle操作的稳定性。

2.5 内存

2.5.1 spark.shuffle.memoryFraction（Spark1.6）

默认值：0.2

参数说明：该参数代表了Executor内存中，分配给shuffle read task进行聚合操作的内存比例，默认是20%。

调优建议：如果内存充足，而且很少使用持久化操作，建议调高这个比例，给shuffle read的聚合操作更多内存，以避免由于内存不足导致聚合过程中频繁读写磁盘。

2.5.2 spark.storage.memoryFraction

默认值：0.6

参数说明：该参数用于设置RDD持久化数据在executor内存中的占比，默认是0.6，根据你选择的不同的持久化数据策略级别，如果内存不够了时，可能数据就不会持久化或者数据会写入到内存中。

调优建议：如果spark任务中，有较多的RDD持久化数据操作，这个值可以适当提高一些，保证持久化的数据在能够容乃在内存中。如果spark任务中shuffle操作较多，那么这个参数的值适当降低一些比较合适，更多的内存空间给shuffle操作。

2.6 排序

2.6.1 spark.shuffle.manager

默认值：sort

参数说明：该参数用于设置ShuffleManager的类型。Spark1.6使用了tungsten计划中的堆外内存管理机制，内存使用效率更高。

调优建议：由于SortShuffleManager默认会对数据进行排序，因此如果你的业务逻辑中需要该排序机制的话，则使用默认的SortShuffleManager就可以；而如果你的业务逻辑不需要对数据进行排序，那么建议参考后面的几个参数调优，通过bypass机制或优化的HashShuffleManager来避免排序操作，同时提供较好的磁盘读写性能。

2.6.2 spark.shuffle.sort.bypassMergeThreshold

默认值：200

参数说明：当ShuffleManager为SortShuffleManager时，如果shuffle read task的数量小于这个阈值（默认是200），则shuffle write过程中不会进行排序操作，而是直接按照未经优化的HashShuffleManager的方式去写数据，但是最后会将每个task产生的所有临时磁盘文件都合并成一个文件，并会创建单独的索引文件。

调优建议：当你使用SortShuffleManager时，如果的确不需要排序操作，那么建议将这个参数调大一些，大于shuffle read task的数量（200）。那么此时就会自动启用bypass机制，map-side就不会进行排序了，减少了排序的性能开销。

2.4 并行度

2.4.1 spark.default.parallelism

在处理RDD时才会起作用，对Spark SQL的无效

默认200，与上面作用相同，只作用于RDD的join/reduceByKey等，无法对纯map操作生效。

通用配置：200

通常来说，Spark默认设置的数量是偏少的（比如就几十个task），如果task数量偏少的话，就会导致你前面设置好的Executor的参数都前功尽弃。试想一下，无论你的Executor进程有多少个，内存和CPU有多大，但是task只有1个或者10个，那么90%的Executor进程可能根本就没有task执行，也就是白白浪费了资源！

Spark官网建议的设置原则是，设置该参数为num-executors * executor-cores的2~3倍较为合适，比如Executor的总CPU core数量为300个，那么设置1000个task是可以的，此时可以充分地利用Spark集群的资源。

Doris 集群优化