今天就跟大家聊聊有关火花提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
初尝试
cd软件/spark-3.0.1-bin-hadoop2.7
启动掌握。/sbin/start-master.sh
访问http://localhost:8080得到迷你包:///MacBook-Pro-2。本地:7077
启动工人。/bin/火花级。组织。阿帕奇。火花。部署。工人。工人火花://MacBook-Pro-2。本地33336。20070707007
访问http://localhost:8081可查看提交的作业
提交作业。/bin/spark-submit-master spark ://MacBook-Pro-2。当地时间:7077-早上上课。猫。火花测试/用户/晨猫/文档/Java-项目/火花-演示/输出/工件/火花_演示_ jar/火花-演示。冲突
packagemorning.cat
导入组织。阿帕奇。火花。sparkconf
导入组织。阿帕奇。火花。sparkcontext
导入组织。阿帕奇。火花。rdd。rdd
publicclassSparkTest{
publicationstatinvitmain(String[]参数){ 0
SparkConfsparkConf=newSparkConf().setAppName('SparkTest ').setMaster(' spark :///MacBook-Pro-2。本地:7077’);
SparkContextsparkContext=newSparkContext(sparkConf);
RDDStringrdd=sparkcontext。文本文件('/用户/晨间猫/文档/设置。XML ',1);
longlineCount=rdd。count();
系统。出去。println(行数);
}
}看完上述内容,你们对火花提交作业的示例分析有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/148960.html