漫谈Spark内存管理(一)有提到问题:“ Spark中用到内存的地方有哪些?存储内存主要消耗在哪些地方?执行内存主要消耗在哪些地方?”。本文就从存储内存使用的角度聊聊spark中哪些地方需要用到存储内存。
MemoryManger.acqurieStorageMemory的调用
我们知道,spark中使用内存之前必须先通过MemoryManager申请内存,那么从MemoryManager的acquire系列方法就可以找出哪些地方有申请内存。MemoryManager有三个acquire方法,分别是acquireStorageMemory, acquireUnrollMemory, acquireExecutionMemory. 其中,acquireUnrollMemory就是直接调用了acquireStorageMemory方法(针对UnifiedMemoryManager而言)。
本文主要讨论acquireStorageMemory的调用路径。除了UnifiedMemoryManager.acquireUnrollMemory外,acquireStorageMemory方法在MemoryStore中有两处调用,一个是在MemoryStore.putBytes中:
另一处在MemoryStore.putIterator中:
我们以MemoryStore.putIterator的调用路径为例(MemoryStore.putBytes的调用路径和MemoryStore.putIterator大体相似,感兴趣的童鞋可以自行查阅源码),分析存储内存申请主要来自哪些模块。
RDD block相关的存储内存申请
1) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsBytes -> MemoryStore.putIterator
2) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
3) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.getLocalValues -> BlockManager.maybeCacheDiskValuesInMemory -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
4) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.get -> BlockManager.getLocalValues -> BlockManager.maybeCacheDiskValuesInMemory -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
5) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> RDD.computeOrReadCheckpoint -> WriteAheadLogBackedBlockRDD.compute -> WriteAheadLogBackedBlockRDD.compute$getBlockFromWriteAheadLog -> blockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
分析:当RDD的storage level包括memory时(也就是调用了RDD.cache或RDD.persist将RDD数据缓存到了memory中),Task在计算得到RDD分区数据时会申请存储内存将数据缓存在内存中。
Broadcast block相关的存储内存申请
1) TorrentBroadcast.writeBlocks -> BlockManager.putSingle -> BlockManager.putIterator -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
2) TorrentBroadcast.readBroadcastBlock -> BlockManager.putSingle -> BlockManager.putIterator -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
3) TorrentBroadcast.readBroadcastBlock -> BlockManager.getLocalValues -> BlockManager.maybeCacheDiskValuesInMemory -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
分析:对广播变量进行存储/缓存也会用到存储内存。
RDD block Replication相关的存储内存申请
1) NettyBlockRpcServer.receive -> BlockDataManager.putBlockData -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
2) NettyBlockRpcServer.receiveStream -> BlockDataManager.putBlockDataAsStream -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
分析:当RDD的storage level中的_replication大于1时,BlockManager需要将block数据发到另一个远程结点以备份,此时BlockManager会向远程结点发送UploadBlock消息,远程结点在收到该消息后会申请存储内存以存放收到的block数据。
Task运行结果数据相关的存储内存申请
TaskRunner.run -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
分析:TaskRunner处理task结果数据时,如果task结果数据大于maxDirectResultSize,则会将其存储到本地blockManager,然后将block的meta数据返回给driver,并且这个时候用的storeage level是MEMORY_AND_DISK_SER, 所以会向MemoryManager申请存储内存。
Streaming receiver相关的存储内存申请
1) ReceiverSupervisorImpl.pushAndReportBlock -> BlockManagerBasedBlockHandler.storeBlock -> BlockManager.putIterator -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsBytes -> MemoryStore.putIterator
2) ReceiverSupervisorImpl.pushAndReportBlock -> BlockManagerBasedBlockHandler.storeBlock -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator
分析:Spark streaming中的receiver-based模式下,ReceiverSupervisorImpl类也会申请存储内存以存放block数据,这部分后面写到spark streaming相关文章,再详细讨论。
说明
1. 本文源码分析基于spark 2.4.0版本
2. 如有错误,望读者指出