目录 第一部分 Spark学习 ....................................................................................................................... 6 第1章 Spark介绍 ...................................................................................................

一.Spark执行机制 1.执行机制总览 Spark应用提交后经历一系列转变，最后成为task在各个节点上执行。 RDD的Action算子触发job的提交，提交到Spark的Job生成RDD DAG，由DAGScheduler转换为Stage DAG，每个Stage中产生相应的Task集合，TaskScheduler将任务分发到Executor执行。每个任务对应的数据块，使用用户定义的函数进行处理。 2.Spark应用的概念 Spark应用(application)是用户提交的应用程序，执行模