spark ui中executor显示的内存量与设置的内存量不符的问题

Spark SenLin 3年前 (2020-10-21) 468次浏览 已收录 0个评论

spark ui中executor显示的内存量与设置的内存量不符的问题

executor显示的内存量是实际执行程序使用的内存量,也就是排除 spark.storage.memoryFraction (默认0.6)     设置的比例外,然后使用的内存量。

默认是0.6。也就是如果申请1G,实际用0.6G,还有的使用详细如下


top8488大数据 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:spark ui中executor显示的内存量与设置的内存量不符的问题
喜欢 (0)
[]
分享 (0)

您必须 登录 才能发表评论!