简述spark的运行架构(spark可以运行在哪些模式下)

技术如何解析Spark运行模式这篇文章将为大家详细讲解有关如何解析Spark运行模式,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。Spark运行模式1 Spark的两个

本文将详细说明如何分析Spark的运营模式。这篇文章的内容质量很高,所以边肖会分享给大家作为参考。希望你看完这篇文章后有所了解。

Spark运行模式

1 Spark的两个重要角色

1.1 简介

Spark是一个基于内存的快速、通用、可扩展的大数据分析引擎。

1.2 spark内置模块:

如何解析Spark运行模式

1.3 Spark的两个重要角色:

Driver(驱动器)负责管理调度任务。

:负责具体任务。

如何解析Spark运行模式

2 Spark运行模式

本地模式:它在机器上运行,通常在动手或测试环境中运行。

Standalone:基于Mster从机构建资源调度集群,将Spark任务提交给Master运行。Executor(执行器).

Spark :星火客户端直接连接纱线和自身的一个调度系统,不依赖Yarn等其他框架,Yarn,不需要额外构建 .有两种模式,纱线客户端和纱线集群。主要区别是:Spark .

纱线客户端:驱动程序运行在客户端,适合交互和调试。希望马上看到app的输出。

纱簇:驱动程序运行在由资源管理器启动的应用程序中,适用于生产环境。

Mesos:家庭环境很少使用。

几种模式的比较:

如何解析Spark运行模式

3 Local模式(下的WordCount)

集群

如何解析Spark运行模式

如何解析Spark运行模式

Driver 程序的运行节点加载文件

3.1 Spark-Wordcount基本思路:把句子一个接一个地分成单词;

文件加载load::把同样的单词放在一组中;

扁平化:计算每个小组的成员人数;

(以上过程是左图的简化过程,不太准确。按照以下步骤记住它;正确的图片是准确的过程)

分组

如何解析Spark运行模式

聚合

3.2 Wordcount代码实现:曾经加载文件;

相关方法说明::用于扁平化和分词;

TextFile:把每个单词映射到一个祖先;

根据关键字进行FlatMap:分组和聚合;

如何解析Spark运行模式

Map

如何解析Spark运行模式

4 Yarn模式(重点)

ReduceByKey

Spark客户端直接连接到Yarn,不需要额外构建Spark集群。有两种模式,纱线客户端和纱线集群。主要区别在于驱动程序的运行节点。

纱线客户端:驱动程序运行在客户端,适合交互和调试。希望马上看到app的输出。

纱簇:驱动程序运行在由资源管理器启动的应用程序中,适用于生产环境。

3.3 Wordcount过程图示

4.1 概述

如何解析Spark运行模式

如何解析Spark运行模式

一起看两张图片。

5 Standalone模式(独立部署模式)

4.2 Yarn运行模式(重点)

要清晰知道每一步的过程。

构建一个由主从节点组成的Spark集群,Spark在集群中运行。

就是只用spark自己的东西,不用Yarn等其他的框架。

如何解析Spark运行模式

Master相当于纱线中的RM;

工人相当于纱线中的纳米;

如何分析Spark的运营模式就分享到这里了,希望。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/149258.html

(0)

相关推荐

  • Sql Server中存储过程中输入和输出参数是什么

    技术Sql Server中存储过程中输入和输出参数是什么本篇文章为大家展示了Sql Server中存储过程中输入和输出参数是什么,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。[s

    攻略 2021年12月1日
  • 哥伦比亚说什么语言,哥伦比亚是个怎样的国家

    技术哥伦比亚说什么语言,哥伦比亚是个怎样的国家或许很多人都听过哥伦比亚这个国家哥伦比亚说什么语言,但却又相当陌生,毕竟这个南美洲的国度与北京有13个小时时差的国家与我们有万里之遥。哥伦比亚是南美洲第四大国,也是全球著名的

    生活 2021年10月26日
  • 如何删除UNDO表空间并处理ORA-01548问题

    技术如何删除UNDO表空间并处理ORA-01548问题这篇文章给大家分享的是有关如何删除UNDO表空间并处理ORA-01548问题的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。准备工作1.找到

    攻略 2021年11月9日
  • STL组件之迭代器如何实现

    技术STL组件之迭代器如何实现小编给大家分享一下STL组件之迭代器如何实现,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!STL的一个重要特点是

    攻略 2021年12月3日
  • 缓存视频怎样转入本地视频,uc下载的视屏怎么转到本地

    技术缓存视频怎样转入本地视频,uc下载的视屏怎么转到本地打开UC浏览器点击下面状态栏中间的菜单按钮,选择【我的视频】;然后点击【已缓存的视频】;长按视频弹出的菜单中就可以看到【打开目录】;再然后长按需要移动的视频,选择【

    生活 2021年10月25日
  • Zookeeper的基础知识是什么

    技术Zookeeper的基础知识是什么本篇文章为大家展示了Zookeeper的基础知识是什么,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。简介Apache ZooKeeper是一

    攻略 2021年11月12日