本文探讨Spark Streaming的日志记录机制，包括15秒间隔的WordCountLine处理流程、ForeachDStream的打印顺序及SocketInputDStream的配置详情。文中还深入介绍了DStreamGraph对象的构建过程与rememberDuration参数的设定规则。
本期内容：
1. Spark Streaming日志
2. Spark Streaming在IDE中的日志分析
WordCountLine
15秒钟的时间间隔
日志中ForeachDStream先打印。
SocketInputDStream storage level false,false,false,false,1
但StorageLevel：
rememberDuration也是15s。
在提交作业前，先构建DStreamGraph对象。
driver准备 就绪，receiver也没问题了。75-93line 可以交给Core进行调度了。
75-83 executor的内容
92- 增加job
94- core的内容
SS就是个大Saprk应用程序
154- 监听器 要保证延迟时间一定要小于batchDuration
156- 作业完成后，删除作业：清掉数据和元数据
下面又有作业产生
210- 删除RDD
remove old batch metadta driver级别，是在下一个batch时删除?
rememberDuration的设置略微复杂些，大体是 slideDuration，如果设置了checkpointDuration 则是2*checkpointDuration 或者通过DStreamGraph.rememberDuration(如果设置了的话，譬如通过StreamingContext.remember方法，不过通过该方法设置的值要大于计算得到的值会生效)
另外值得一提的就是后面的DStream 会调整前面的DStream的rememberDuration，譬如如果你用了window* 相关的操作，则在此之前的DStream 的rememberDuration 都需要加上windowDuration。
问题：
remove old batch metadta driver级别，是在下一个batch时删除?
第一个Job出现没有删除RDD的信息，在第二个BatchDuration之前，
扫一扫
2778
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
