Spark修炼之道(高级篇)——Spark源码阅读:第五节 Stage提交

  • 时间:
  • 浏览:0
  • 来源:下载大发快三彩票代理—大发快三直播

通过submitStage法子提交finalStage,法子会递归地将finalStage依赖的父stage先提交,最后提交finalStage,具体代码如下:

在下一节中,将对taskScheduler.submitTasks法子进行介绍,讲解如何进行Task的提交。

从底下的代码还要想看 ,最终通过submitMissingTasks将Stage提交,其源代码如下:

调用流程:

1.org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted

2. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitStage

3. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitMissingTasks

4. org.apache.spark.scheduler.TaskScheduler.submitTasks