此时就很有可能发生了Heap OOM
 
 

 

 Driver heap OOM的三大原洇:
(1).用户在Driver端口生成大对象, 比如创建了一个大的集合数据结构
解决思路:
 
 

 
 

 甚至10倍. *解决思路:
 
 

 
 

 (3)Spark本身框架的数据消耗.
现在在Spark1.6版本之后主要由Spark UI数据消耗, 取决于作业的累计Task个数.
 
 

 
 

 
 

 3.3. 实在没法避免, 相应增加内存.
 
 

 

 
 

 

 

 

 
 

 
 

 
 

 
 

 1.1. 控制单key的Value的个数, 做个数截断或者做过滤. 很多情况是用户自身有异常数据导致.
 
 

 
 

 
 

 
 

 
 

 在RDD操作里创建了不容易释放的大对象**, 例如集合操作中产生不易释放的对象
 
 

 
 

 2.1. 优化逻辑. 避免在一个RDD操作中实现大量集合操作, 可以尝试转化成多个RDD操作.