spark提交作业参数(spark提交作业的流程)

技术Spark提交作业的示例分析今天就跟大家聊聊有关Spark提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。初尝试cd software/spa

今天就跟大家聊聊有关火花提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

初尝试

cd软件/spark-3.0.1-bin-hadoop2.7

启动掌握。/sbin/start-master.sh

访问http://localhost:8080得到迷你包:///MacBook-Pro-2。本地:7077

启动工人。/bin/火花级。组织。阿帕奇。火花。部署。工人。工人火花://MacBook-Pro-2。本地33336。20070707007

访问http://localhost:8081可查看提交的作业

提交作业。/bin/spark-submit-master spark ://MacBook-Pro-2。当地时间:7077-早上上课。猫。火花测试/用户/晨猫/文档/Java-项目/火花-演示/输出/工件/火花_演示_ jar/火花-演示。冲突

packagemorning.cat

导入组织。阿帕奇。火花。sparkconf

导入组织。阿帕奇。火花。sparkcontext

导入组织。阿帕奇。火花。rdd。rdd

publicclassSparkTest{

publicationstatinvitmain(String[]参数){ 0

SparkConfsparkConf=newSparkConf().setAppName('SparkTest ').setMaster(' spark :///MacBook-Pro-2。本地:7077’);

SparkContextsparkContext=newSparkContext(sparkConf);

RDDStringrdd=sparkcontext。文本文件('/用户/晨间猫/文档/设置。XML ',1);

longlineCount=rdd。count();

系统。出去。println(行数);

}

}看完上述内容,你们对火花提交作业的示例分析有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/148960.html

(0)

相关推荐

  • 猪八戒照镜子,猪八戒照镜子的下一句是什么?

    技术猪八戒照镜子,猪八戒照镜子的下一句是什么?猪八戒照镜子——里外不是人 该歇后语的意思是猪八戒照镜子:形容一个人处于尴尬两难的境地,做什么事情都被人指责。 有关猪八戒的歇后语:
    1、猪八戒照镜子——里外不是人
    2

    生活 2021年10月24日
  • 3v,3V的电压对人体安全么

    技术3v,3V的电压对人体安全么人们通常把电击电流分为感知电流3v、反应电流、摆脱电流和心室纤颤电流等 经验证明,通过人体的电流不超过10 mA,触电人可以摆脱电源,不会造成事故;通过人体的电流超过10 mA时,人就有生

    生活 2021年10月24日
  • SpringBoot整合Redisson如何实现分布式锁

    技术SpringBoot整合Redisson如何实现分布式锁这篇文章将为大家详细讲解有关SpringBoot整合Redisson如何实现分布式锁,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所

    攻略 2021年11月13日
  • 游戏的3d模型在哪个文件(3d warehouse模型下载)

    技术如何从3d warehouse中获取模型今天就跟大家聊聊有关如何从3d warehouse中获取模型,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。3dware

    攻略 2021年12月21日
  • openwrt可以用主路由器吗(openwrt怎样连接网络)

    技术OpenWRT如何连上路由器这篇文章将为大家详细讲解有关OpenWRT如何连上路由器,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。连上路由器 刚刚刷好 OpenWRT 的

    攻略 2021年12月18日
  • MongoDB可视化工具的使用方法

    技术MongoDB可视化工具的使用方法今天就跟大家聊聊有关MongoDB可视化工具的使用方法,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。 MongoDB 是一种

    攻略 2021年11月3日