spark运行机制

技术spark运行机制 spark运行机制构建DAG(Driver 端完成)
使用算子操作 RDD 进行各种 Transformation 操作,最后通过 Action 操作触发 Spark 作业运行。

火花操作机构

构建DAG(驱动程序结束已完成)

操作员操作RDD用于执行各种转换操作,最后触发火花作业运行操作。提交后,Spark会根据转换过程中生成的rdd之间的依赖关系,构建一个有向无环图。

达格切割(在驱动端完成)

DAG切割主要解决根据RDD是否依赖宽度切割节点的问题,遇到宽依赖时将任务划分到新的调度阶段。每个阶段包含一个或多个任务。这些任务将形成一个任务集,该任务集将提交给底层调度程序进行调度和运行。

任务调度(驱动端完成)

每个火花任务计划程序只为一个火花上下文实例服务。任务调度器收到任务集后,负责将任务集分发到Worker节点的Executor进程,以任务任务的形式执行。如果任务失败,任务计划程序负责重新分配任务的计算。

执行任务(由工作人员的执行者执行)。

执行器收到发送的任务后,会以多线程方式执行任务计算(执行器重启时会初始化一个线程池),每个线程负责一个任务。任务完成后,它会根据任务的类型选择相应的返回模式,并将结果返回给任务调度器。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/61495.html

(0)

相关推荐

  • 源码解析二 模型转换 export.py

    技术源码解析二 模型转换 export.py 源码解析二 模型转换 export.py基于最新yolov5-v6.01.重点2.相关函数1.重点一般使用规则:python export.py --dat

    礼包 2021年12月21日
  • php数组中键和值间如何转换位置

    技术php数组中键和值间如何转换位置这篇文章给大家分享的是有关php数组中键和值间如何转换位置的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。 转换方法:1、利用fo

    攻略 2021年11月7日
  • 如何解析Perl命令行程序用法

    技术如何解析Perl命令行程序用法如何解析Perl命令行程序用法,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。Perl命令行程序命令行程序下面的几个Pe

    攻略 2021年11月12日
  • 怎么删除表和Oracle的回收站

    技术怎么删除表和Oracle的回收站本篇内容介绍了“怎么删除表和Oracle的回收站”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够

    攻略 2021年11月4日
  • 乐观锁和悲观锁

    技术乐观锁和悲观锁 乐观锁和悲观锁悲观锁:具有强烈的独占和排他特性。它指的是对数据被外界(包括本系统当前的其他事务,以及来自外部系统的事务处理)修改持保守态度。因此,在整个数据处理过程中,将数据处于锁定

    礼包 2021年12月15日
  • 没关水龙头打一成语,元宵灯谜大全及答案(1000个)

    技术没关水龙头打一成语,元宵灯谜大全及答案(1000个)拜年没关水龙头打一成语。 (打一作家名) 贺敬之 除夕守岁数钟声。 (打一商业用语) 年

    生活 2021年10月25日