Spark存储内存在哪些地方用到?

Spark SenLin 6年前 (2018-12-20) 567次浏览 已收录 0个评论

漫谈Spark内存管理(一)有提到问题:“ Spark中用到内存的地方有哪些?存储内存主要消耗在哪些地方?执行内存主要消耗在哪些地方?”。本文就从存储内存使用的角度聊聊spark中哪些地方需要用到存储内存。

MemoryManger.acqurieStorageMemory的调用

我们知道,spark中使用内存之前必须先通过MemoryManager申请内存,那么从MemoryManager的acquire系列方法就可以找出哪些地方有申请内存。MemoryManager有三个acquire方法,分别是acquireStorageMemory, acquireUnrollMemory, acquireExecutionMemory. 其中,acquireUnrollMemory就是直接调用了acquireStorageMemory方法(针对UnifiedMemoryManager而言)。

本文主要讨论acquireStorageMemory的调用路径。除了UnifiedMemoryManager.acquireUnrollMemory外,acquireStorageMemory方法在MemoryStore中有两处调用,一个是在MemoryStore.putBytes中:

Spark存储内存在哪些地方用到?
MemoryStore.putBytes

另一处在MemoryStore.putIterator中:

Spark存储内存在哪些地方用到?
MemoryStore.putIterator

我们以MemoryStore.putIterator的调用路径为例(MemoryStore.putBytes的调用路径和MemoryStore.putIterator大体相似,感兴趣的童鞋可以自行查阅源码),分析存储内存申请主要来自哪些模块。

RDD block相关的存储内存申请

1) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsBytes -> MemoryStore.putIterator

2) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

3) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.getLocalValues -> BlockManager.maybeCacheDiskValuesInMemory -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

4) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.get -> BlockManager.getLocalValues -> BlockManager.maybeCacheDiskValuesInMemory -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

5) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> RDD.computeOrReadCheckpoint -> WriteAheadLogBackedBlockRDD.compute -> WriteAheadLogBackedBlockRDD.compute$getBlockFromWriteAheadLog -> blockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析:当RDD的storage level包括memory时(也就是调用了RDD.cache或RDD.persist将RDD数据缓存到了memory中),Task在计算得到RDD分区数据时会申请存储内存将数据缓存在内存中。

Broadcast block相关的存储内存申请

1) TorrentBroadcast.writeBlocks -> BlockManager.putSingle -> BlockManager.putIterator -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

2) TorrentBroadcast.readBroadcastBlock -> BlockManager.putSingle -> BlockManager.putIterator -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

3) TorrentBroadcast.readBroadcastBlock -> BlockManager.getLocalValues -> BlockManager.maybeCacheDiskValuesInMemory -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析:对广播变量进行存储/缓存也会用到存储内存。

RDD block Replication相关的存储内存申请

1) NettyBlockRpcServer.receive -> BlockDataManager.putBlockData -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

2) NettyBlockRpcServer.receiveStream -> BlockDataManager.putBlockDataAsStream -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析:当RDD的storage level中的_replication大于1时,BlockManager需要将block数据发到另一个远程结点以备份,此时BlockManager会向远程结点发送UploadBlock消息,远程结点在收到该消息后会申请存储内存以存放收到的block数据。

Task运行结果数据相关的存储内存申请

TaskRunner.run -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析:TaskRunner处理task结果数据时,如果task结果数据大于maxDirectResultSize,则会将其存储到本地blockManager,然后将block的meta数据返回给driver,并且这个时候用的storeage level是MEMORY_AND_DISK_SER, 所以会向MemoryManager申请存储内存。

Streaming receiver相关的存储内存申请

1) ReceiverSupervisorImpl.pushAndReportBlock -> BlockManagerBasedBlockHandler.storeBlock -> BlockManager.putIterator -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsBytes -> MemoryStore.putIterator

2) ReceiverSupervisorImpl.pushAndReportBlock -> BlockManagerBasedBlockHandler.storeBlock -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析:Spark streaming中的receiver-based模式下,ReceiverSupervisorImpl类也会申请存储内存以存放block数据,这部分后面写到spark streaming相关文章,再详细讨论。

说明

1. 本文源码分析基于spark 2.4.0版本

2. 如有错误,望读者指出


top8488大数据 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Spark存储内存在哪些地方用到?
喜欢 (6)
[]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址