大数据爬虫应用场景(大数据爬虫分析系统)

技术大数据爬虫安装的示例分析这篇文章主要介绍大数据爬虫安装的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!爬虫安装前准备工作:大数据平台安装完成、zookeeper、redis、elast

本文主要介绍大数据爬虫安装的实例分析,非常详细,具有一定的参考价值。感兴趣的朋友一定要看完!

爬虫安装前准备:大数据平台安装完成,zookeeper、redis、elasticsearch、mysql等组件安装启动成功。

1.修改爬虫安装配置文件(最好离线修改后再上传到平台)

大数据爬虫安装的示例分析

大数据爬虫安装的示例分析

2.修改crawler \ dkcrw \ jdbc.properties配置文件(默认情况下只能修改图片中的内容)

大数据爬虫安装的示例分析

Hbase.zookeeper.quorum填写的地址应在DKM监控平台上查看:

大数据爬虫安装的示例分析

Redis相关配置见以下界面:

大数据爬虫安装的示例分析

3.将crawler \ dkc rw \ to \ crawler \ dkc rw-Tomcat-7 . 0 . 56 \ web apps \ root \ web-INF \ class下修改后的jdbc.properties配置文件替换为(有一个未更改的直接替换)

大数据爬虫安装的示例分析

修改后,将修改后的爬虫文件按成压缩文件。

4.上传平台主节点并解压(这里我就不介绍怎么上传了。在本例中,它被上传到根目录,安装包可以上传到任何目录以选择根目录)。

大数据爬虫安装的示例分析

拉开…的拉链

解压缩命令。解压唱完之后,还会多一个cuawler的文件夹。

大数据爬虫安装的示例分析

使用cd crawler命令进入crawler文件夹。

大数据爬虫安装的示例分析

使用mysql -uroot -p123456 numysql.sql命令添加numysql.sql数据库。

大数据爬虫安装的示例分析

5.分发爬网程序文件

大数据爬虫安装的示例分析

每个节点都需要有一个dkcrw文件,dkcrw-tomcat-7.0.56文件只能放在一个节点上,不能放在主节点上(选举放在从节点上)

命令:

scp -r

{您可以填写多个要分发的文件名,如果不在要分发文件的目录中,请添加一个路径} {服务器的ip或分发名称:的路径}

例如:

cd /opt/dkh

scp -r dkcrw dk2:/opt/dkh/

scp-r dkc rw dkc rw-Tomcat-7 . 0 . 56/dk 2:/opt/dkh/

大数据爬虫安装的示例分析

6.在分发dkcrw-tomcat-7.0.56文件的节点上为文件添加权限。

命令:

chmod-R 755 {需要许可的文件等。}

例如:

cd /opt/dkh

chmod-R 755 dk rwd kcrw-Tomcat-7 . 0 . 56/

大数据爬虫安装的示例分析

7.启动爬虫界面。

命令:

CD/opt/dkh/dkc rw-Tomcat-7 . 0 . 56/bin/。/startup.sh

大数据爬虫安装的示例分析

界面启动后,在浏览器中输入启动界面节点的IP,打开爬虫界面,查看启动是否成功(默认为账号密码)。

大数据爬虫安装的示例分析

8.启动每个节点的dkcrw.jar。

命令:

主节点操作

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar主dkcrw.log 21

从节点运行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar从属dkcrw.log 21

注意:可以先用前台启动爬虫,确保爬虫正确。

前台启动命令Java-jar dk rw . jar主/从

以上就是《大数据爬虫安装实例分析》一文的全部内容,感谢阅读!希望分享的内容对大家有所帮助。更多相关知识,请关注行业资讯频道!

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/153429.html

(0)

相关推荐

  • spring基于领域分析设计的架构规范

    技术spring基于领域分析设计的架构规范本篇内容主要讲解“spring基于领域分析设计的架构规范”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“spring基于领域分析设计的

    攻略 2021年11月16日
  • hashcode和hash算法的实现原理是什么

    技术hashcode和hash算法的实现原理是什么本篇文章给大家分享的是有关hashcode和hash算法的实现原理是什么,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一

    攻略 2021年10月20日
  • 抖音刷直播人气,抖音直播刷人气详情介绍!

    技术抖音刷直播人气,抖音直播刷人气详情介绍!抖音直播人气购买,抖音直播刷人气软件,抖音直播刷人气,如果在直播间涨粉,前提要做如何做到直播间有人进来
    靠排比例的话数能上1000人在线,一个月稳定卖一百万一直靠砍光的和热量很

    测评 2021年10月21日
  • node.js有什么指令

    技术node.js有什么指令小编给大家分享一下node.js有什么指令,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

    攻略 2021年12月13日
  • 凯撒密码对应表,古典密码安全算法有哪些

    技术凯撒密码对应表,古典密码安全算法有哪些世界上最早的一种密码产生于公元前两世纪。是由一位希腊人提出的凯撒密码对应表,人们称之为 棋盘密码,原因为该密码将26个字母放在5×5的方格里,i,j放在一个格子里,具体情
    况如

    生活 2021年10月25日
  • 竹石古诗的意思,《竹石》这首诗的意思是什么

    技术竹石古诗的意思,《竹石》这首诗的意思是什么竹子把根深深地扎进青山里竹石古诗的意思,它的根牢牢地扎在岩石缝中。经历成千上万次的折磨和打击,它依然那么坚强,不管酷暑的东南风还是严冬的西北风,它都能经受得住,就像以前一样依

    生活 2021年10月25日