:-:  Spark运行架构 * 在驱动程序中，通过SparkContext主导应用的执行； * SparkContext可以连接不同类型的Cluster Manager（Standalone、YARN、Mesos），连接后，获得集群节点上的Executor； * 一个Worker节点默认一个Executor，可通过SPARK_WORKER_INSTANCES调整； * 每个应用获取自己的Executor，相当于JVM； * 每个Task处理一个RDD分区； :-: Spark架构核心组件 | 术语 | 说明 | | --- | --- | | Application | 建立在Spark上的用户程序，包括Driver代码和运行在集群各节点Executor中的代码 | | Driver program | 驱动程序。Application中的main函数并创建SparkContext | | Cluster Manager | 在集群（Standalone、Mesos、YARN）上获取资源的外部服务 | | Worker Node | 集群中任何可以运行Application代码的节点 | | Executor | 某个Application运行在worker节点上的一个进程 | | Task | 被送到某个Executor上的工作单元 | | Job | 包含多个Task组成的并行计算，往往由Spark Action触发生成，一个Application中往往会产生多个Job | | Stage | 每个Job会被拆分成多组Task，作为一个TaskSet，其名称为Stage |