spark运行机制

技术spark运行机制 spark运行机制构建DAG(Driver 端完成)
使用算子操作 RDD 进行各种 Transformation 操作,最后通过 Action 操作触发 Spark 作业运行。

火花操作机构

构建DAG(驱动程序结束已完成)

操作员操作RDD用于执行各种转换操作,最后触发火花作业运行操作。提交后,Spark会根据转换过程中生成的rdd之间的依赖关系,构建一个有向无环图。

达格切割(在驱动端完成)

DAG切割主要解决根据RDD是否依赖宽度切割节点的问题,遇到宽依赖时将任务划分到新的调度阶段。每个阶段包含一个或多个任务。这些任务将形成一个任务集,该任务集将提交给底层调度程序进行调度和运行。

任务调度(驱动端完成)

每个火花任务计划程序只为一个火花上下文实例服务。任务调度器收到任务集后,负责将任务集分发到Worker节点的Executor进程,以任务任务的形式执行。如果任务失败,任务计划程序负责重新分配任务的计算。

执行任务(由工作人员的执行者执行)。

执行器收到发送的任务后,会以多线程方式执行任务计算(执行器重启时会初始化一个线程池),每个线程负责一个任务。任务完成后,它会根据任务的类型选择相应的返回模式,并将结果返回给任务调度器。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/61495.html

(0)

相关推荐

  • MySQL Cluster7.2.4怎么安装部署

    技术MySQL Cluster7.2.4怎么安装部署本篇内容主要讲解“MySQL Cluster7.2.4怎么安装部署”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“MySQL

    攻略 2021年11月19日
  • 硫燃烧的化学方程式,硫燃烧,的化学方程式是什么

    技术硫燃烧的化学方程式,硫燃烧,的化学方程式是什么S+O2=SO2 (反应条件:点燃)。发出蓝紫色的火焰, 生成了带有刺激性气味的气体硫燃烧的化学方程式,二氧化硫, 并放出热量。硫(sulfur)是一种非金属元素,化学符

    生活 2021年10月26日
  • Bytom如何使用PAT树

    技术Bytom如何用PAT树本篇内容介绍了“Bytom如何用PAT树”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!为什么

    攻略 2021年12月20日
  • 西游记内容简介200字,西游记简介,100字左右)

    技术西游记内容简介200字,西游记简介,100字左右)书中讲述了唐僧师徒四人一路降妖伏魔西游记内容简介200字,历经整整九九八十一难取经的故事。作者细腻而深刻地塑造了四个极其经典的形象:慈悲、宽厚但软弱、迂腐的师父唐僧;

    生活 2021年10月20日
  • Linux系统下ESP32开发板如何搭建RT-Thread开发环境

    技术Linux系统下ESP32开发板如何搭建RT-Thread开发环境这篇文章将为大家详细讲解有关Linux系统下ESP32开发板如何搭建RT-Thread开发环境,文章内容质量较高,因此小编分享给大家做个参考,希望大家

    攻略 2021年10月22日
  • 二分图

    技术二分图 二分图二分图
    定义
    二分图,又称二部图,英文名叫 Bipartite graph。
    二分图是什么节点由两个集合组成,且两个集合内部没有边的图。
    换言之,存在一种方案,将节点划分成满足以上性质

    礼包 2021年11月24日