mr on yarn架构

技术mr on yarn架构 mr on yarn架构提交作业①程序打成jar包,在客户端运行hadoop jar命令,提交job到集群运行job.waitForCompletion(true)中调用J

奥尼扬建筑

提交作业

(1)将程序打包成jar包,在客户端运行hadoop jar命令,将作业提交给集群进行操作。

job.waitForCompletion(true)中调用Job的submit()方法,该方法中调用JobSubmitter的submitJobInternal()方法;

submitClient.getNewJobid()向resourcemanager请求一个MR作业id。

检查输出目录:如果未指定输出目录或目录已经存在,将报告错误。

计算作业碎片;如果无法计算碎片,也会报告错误。

与运行作业相关的资源,如jar包、配置文件和作业的输入片段,上传到HDFS上以作业ID命名的目录中(jar包的副本默认为10个,运行作业时可以从这10个副本中读取jar包,如映射任务和减少任务)

调用resourcemanager的submitApplication()提交作业。

客户端每秒查询作业进度(映射50%减少0%),如果进度有任何变化,会在控制台上打印进度报告;

如果作业成功执行,将打印相关的计数器。

但是如果失败,请在控制台上打印作业失败的原因。

初始化作业

当ResourceManager(简称RM)收到submitApplication()方法的调用通知时,请求会传递给RM的调度程序。调度程序分配容器。

远程管理器与指定的节点管理器通信,通知节点管理器启动容器;收到通知后,节点管理器创建一个容器;占用特定资源;

然后在容器中运行MRAppMaster进程

MRAppMaster需要接收任务的进度和完成情况报告(每个映射任务和缩减任务),因此AppMaster需要创建多个记账对象来记录这些信息。

从HDFS获取客户端计算的输入切片分割。

为每个切片分割创建一个地图任务

通过MapReduce . job . reduce的属性值(编程时由jog.setNumReduceTasks()指定),我们知道MR目前会创建多少个reduce任务。

每个任务(映射、缩减)都有一个任务id。

Task 任务分配

在小作业的情况下,appMaster会以==Uber化===的方式运行这个MR作业;appMaster将决定在其JVM中顺序执行该MR的任务;

"md-list-item">

原因是,若每个任务运行在一个单独的JVM时,都需要单独启动JVM,分配资源(内存、CPU),需要时间;多个JVM中的任务再在各自的JVM中并行运行

  • 若将所有任务在appMaster的JVM中==顺序执行==的话,更高效,那么appMaster就会这么做 ,任务作为uber任务运行

  • 小作业判断依据:①小于10个map任务;②只有一个reduce任务;③MR输入大小小于一个HDFS块大小

  • 如何开启uber设置属性 mapreduce.job.ubertask.enable 值为true

  • 在运行任何task之前,appMaster调用setupJob()方法,创建OutputCommitter,创建作业的最终输出目录(一般为HDFS上的目录)及任务输出的临时目录(如map任务的中间结果输出目录)

  • ⑧若作业不以uber任务方式运行,那么appMaster会为作业中的每一个任务(map任务、reduce任务)向RM请求container

    • 由于reduce任务在进入排序阶段之前,所有的map任务必须执行完成;所以,为map任务申请容器要优先于为reduce任务申请容器

    • 5%的map任务执行完成后,才开始为reduce任务申请容器

    • 为map任务申请容器时,遵循==数据本地化==,调度器尽量将容器调度在map任务的输入分片所在的节点上(==移动计算,不移动数据==)

    • reduce任务能在集群任意计算节点运行

    • 默认情况下,为每个map任务、reduce任务分配1G内存、1个虚拟内核,由属性决定mapreduce.map.memory.mb、mapreduce.reduce.memory.mb、mapreduce.map.cpu.vcores、mapreduce.reduce.reduce.cpu.vcores

  • Task 任务执行

    • 当调度器为当前任务分配了一个NodeManager(暂且称之为NM01)的容器,并将此信息传递给appMaster后;appMaster与NM01通信,告知NM01启动一个容器,并此容器占据特定的资源量(内存、CPU)

    • NM01收到消息后,启动容器,此容器占据指定的资源量

    • 容器中运行YarnChild,由YarnChild运行当前任务(map、reduce)

    • ⑩在容器中运行任务之前,先将运行任务需要的资源拉取到本地,如作业的JAR文件、配置文件、分布式缓存中的文件

  • 作业运行进度与状态更新

    • 作业job以及它的每个task都有状态(running、successfully completed、failed),当前任务的运行进度、作业计数器

    • 任务在运行期间,每隔==3秒==向appMaster汇报执行进度、状态(包括计数器)

    • appMaster汇总目前运行的所有任务的上报的结果

    • 客户端每隔1秒,轮询访问appMaster获得作业执行的最新状态,若有改变,则在控制台打印出来

  • 完成作业

    • appMaster收到最后一个任务完成的报告后,将作业状态设置为成功

    • 客户端轮询appMaster查询进度时,发现作业执行成功,程序从waitForCompletion()退出

    • 作业的所有统计信息打印在控制台

    • appMaster及运行任务的容器,清理中间的输出结果,释放资源

    • 作业信息被历史服务器保存,留待以后用户查询

  • 内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/132070.html

    (0)

    相关推荐

    • Oracle11g报警功能识别是否会忽略或吞掉错误的程序

      技术Oracle11g报警功能识别是否会忽略或吞掉错误的程序Oracle11g报警功能识别是否会忽略或吞掉错误的程序,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易

      攻略 2021年11月29日
    • 种马后宫小说,你看过后宫最多的小说是哪一部

      技术种马后宫小说,你看过后宫最多的小说是哪一部说道这个种马后宫小说,我觉得最多的要数天堂不寂寞的《异界之风流大法师》了。这本书是一本西方魔法类的小说,讲述的是一个特种军人穿越到了异世一个纨绔二代的身上,并且刚附体就把帝国

      生活 2021年10月21日
    • 风的笔顺是,风的第二笔的笔画名称是什么

      技术风的笔顺是,风的第二笔的笔画名称是什么撇、横折弯钩/横斜钩、撇、点风的笔顺是。 风字详解: 一、详细信息:
      拼音:fēng、fěng  
      部首:风
      笔画:4
      二、笔顺图: 三、基本释义:
      (1)读作:fēn

      生活 2021年10月25日
    • Linux网桥ping虚拟网卡不通的原因是什么

      技术Linux网桥ping虚拟网卡不通的原因是什么本篇文章为大家展示了Linux网桥ping虚拟网卡不通的原因是什么,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。解释一下为什么

      攻略 2021年10月22日
    • java semaphore 是什么(javasemaphore信号怎么样)

      技术如何解析Java中的Semaphore信号量本篇文章为大家展示了如何解析Java中的Semaphore信号量,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Semaphore

      攻略 2021年12月20日
    • 使用SPM固定执行计划

      技术使用SPM固定执行计划 使用SPM固定执行计划使用SPM固定执行计划
      2 YEARS AGOORACLEVIEWED56TIMES.数据库在运行过程中,会由于各种原因的变化,存在执行计划不稳定的情况

      礼包 2021年11月19日