spark提交作业参数(spark提交作业的流程)

技术Spark提交作业的示例分析今天就跟大家聊聊有关Spark提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。初尝试cd software/spa

今天就跟大家聊聊有关火花提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

初尝试

cd软件/spark-3.0.1-bin-hadoop2.7

启动掌握。/sbin/start-master.sh

访问http://localhost:8080得到迷你包:///MacBook-Pro-2。本地:7077

启动工人。/bin/火花级。组织。阿帕奇。火花。部署。工人。工人火花://MacBook-Pro-2。本地33336。20070707007

访问http://localhost:8081可查看提交的作业

提交作业。/bin/spark-submit-master spark ://MacBook-Pro-2。当地时间:7077-早上上课。猫。火花测试/用户/晨猫/文档/Java-项目/火花-演示/输出/工件/火花_演示_ jar/火花-演示。冲突

packagemorning.cat

导入组织。阿帕奇。火花。sparkconf

导入组织。阿帕奇。火花。sparkcontext

导入组织。阿帕奇。火花。rdd。rdd

publicclassSparkTest{

publicationstatinvitmain(String[]参数){ 0

SparkConfsparkConf=newSparkConf().setAppName('SparkTest ').setMaster(' spark :///MacBook-Pro-2。本地:7077’);

SparkContextsparkContext=newSparkContext(sparkConf);

RDDStringrdd=sparkcontext。文本文件('/用户/晨间猫/文档/设置。XML ',1);

longlineCount=rdd。count();

系统。出去。println(行数);

}

}看完上述内容,你们对火花提交作业的示例分析有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/148960.html

(0)

相关推荐

  • 分析PostgreSQL创建函数的过程

    技术分析PostgreSQL创建函数的过程本篇内容主要讲解“分析PostgreSQL创建函数的过程”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“分析PostgreSQL创建函

    攻略 2021年11月5日
  • openwrt状态监控(openwrt实现远程管理)

    技术OpenWRT如何实现远程监听小编给大家分享一下OpenWRT如何实现远程监听,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!1、安装命令o

    攻略 2021年12月18日
  • 使用台湾服务器的好处

    技术使用台湾服务器的好处使用台湾服务器有搭建网站相比其他地区的海外服务器优势还是比较明显的。为方便起见,下面列出了一些好处:实惠的定价 使用台湾服务器,虽然在体验上没有CN2香港直连服务器那么快,但是租用价格远低于您可能

    礼包 2021年10月22日
  • OGG中主键与trandata的添加顺序是什么

    技术OGG中主键与trandata的添加顺序是什么本篇文章给大家分享的是有关OGG中主键与trandata的添加顺序是什么,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一

    攻略 2021年11月12日
  • 如何理解数据分析工具Pandas

    技术如何理解数据分析工具Pandas如何理解数据分析工具Pandas,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。随着大数据和人工智能的发展,数据分析行业迎

    攻略 2021年11月23日
  • 如何理解HBase中的HFile合并过程

    技术如何理解HBase中的HFile合并过程如何理解HBase中的HFile合并过程,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。HBase 根据合并规

    攻略 2021年11月23日