spark提交作业参数(spark提交作业的流程)

技术Spark提交作业的示例分析今天就跟大家聊聊有关Spark提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。初尝试cd software/spa

今天就跟大家聊聊有关火花提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

初尝试

cd软件/spark-3.0.1-bin-hadoop2.7

启动掌握。/sbin/start-master.sh

访问http://localhost:8080得到迷你包:///MacBook-Pro-2。本地:7077

启动工人。/bin/火花级。组织。阿帕奇。火花。部署。工人。工人火花://MacBook-Pro-2。本地33336。20070707007

访问http://localhost:8081可查看提交的作业

提交作业。/bin/spark-submit-master spark ://MacBook-Pro-2。当地时间:7077-早上上课。猫。火花测试/用户/晨猫/文档/Java-项目/火花-演示/输出/工件/火花_演示_ jar/火花-演示。冲突

packagemorning.cat

导入组织。阿帕奇。火花。sparkconf

导入组织。阿帕奇。火花。sparkcontext

导入组织。阿帕奇。火花。rdd。rdd

publicclassSparkTest{

publicationstatinvitmain(String[]参数){ 0

SparkConfsparkConf=newSparkConf().setAppName('SparkTest ').setMaster(' spark :///MacBook-Pro-2。本地:7077’);

SparkContextsparkContext=newSparkContext(sparkConf);

RDDStringrdd=sparkcontext。文本文件('/用户/晨间猫/文档/设置。XML ',1);

longlineCount=rdd。count();

系统。出去。println(行数);

}

}看完上述内容,你们对火花提交作业的示例分析有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/148960.html

(0)

相关推荐

  • 手机进水后触屏失灵,手机进水触屏不管用了怎么办

    技术手机进水后触屏失灵,手机进水触屏不管用了怎么办手机进水触摸屏坏了手机进水后触屏失灵,如果还在保修期内,毫无疑问到商家的售后网点去维修,如果已过保修期,那么最好也要找到相对专业的维修机构进行维修,最好不要拿到路边摊或者

    生活 2021年10月27日
  • 两个虫子,词中那个两个字都是虫子旁

    技术两个虫子,词中那个两个字都是虫子旁螳螂两个虫子、蚱蜢、蚯蚓、蛐蛐、蜘蛛、蜻蜓、蜥蜴、蝈蝈、蟑螂、蝴蝶、蝌蚪、蝙蝠、蚂蝗、蚂蚁、蜂蛹、蝼蛄、蚍蜉、蚊蚋、蜈蚣、蜿蜒、螟蛉、蛤蟆、螃蟹、蜜蜂、蚰蜒、蚕蛹、蝽蛳、螺蛳、蟪蛄、

    生活 2021年10月20日
  • 怎么搭建OGG 12c MySQL to MySQL

    技术怎么搭建OGG 12c MySQL to MySQL本篇内容介绍了“怎么搭建OGG 12c MySQL to MySQL”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如

    攻略 2021年11月18日
  • 千什么万什么的成语,千什么万什么的四字成语

    技术千什么万什么的成语,千什么万什么的四字成语千军万马千什么万什么的成语、千言万语、千丝万缕、千山万水、千变万化、千头万绪、 千真万确、千刀万剐、千呼万唤、千辛万苦、千秋万代、千岩万壑、 千山万壑、千家万户、千沟万壑、千

    生活 2021年10月28日
  • 微信小程序swiper组件怎么创建(微信小程序的wxss文件作用)

    技术微信小程序中的wxs模块怎么用这篇文章将为大家详细讲解有关微信小程序中的wxs模块怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。WXS的使用wxs是专门用于wxml页面的,它

    攻略 2021年12月19日
  • ajax请求的步骤是什么

    技术ajax请求的步骤是什么ajax请求的步骤是什么,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。ajax请求的五个步骤 第一步,创建XMLHttpR

    攻略 2021年11月26日