当前位置: 代码迷 >> 综合 >> 问题 sparksql Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
  详细解决方案

问题 sparksql Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded

热度:80   发布时间:2023-11-25 10:35:51.0

在/sparkconf/spark-defaults.conf添加配置
增加内存和核数

spark.driver.memory 3g
spark.executor.memory 2g
spark.driver.cores 2
spark.sql.broadcastTimeout=300 # 心跳检测间隔,以防数据量过大,超时报错
  相关解决方案