大数据爬虫应用场景(大数据爬虫分析系统)

技术大数据爬虫安装的示例分析这篇文章主要介绍大数据爬虫安装的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!爬虫安装前准备工作:大数据平台安装完成、zookeeper、redis、elast

本文主要介绍大数据爬虫安装的实例分析,非常详细,具有一定的参考价值。感兴趣的朋友一定要看完!

爬虫安装前准备:大数据平台安装完成,zookeeper、redis、elasticsearch、mysql等组件安装启动成功。

1.修改爬虫安装配置文件(最好离线修改后再上传到平台)

大数据爬虫安装的示例分析

大数据爬虫安装的示例分析

2.修改crawler \ dkcrw \ jdbc.properties配置文件(默认情况下只能修改图片中的内容)

大数据爬虫安装的示例分析

Hbase.zookeeper.quorum填写的地址应在DKM监控平台上查看:

大数据爬虫安装的示例分析

Redis相关配置见以下界面:

大数据爬虫安装的示例分析

3.将crawler \ dkc rw \ to \ crawler \ dkc rw-Tomcat-7 . 0 . 56 \ web apps \ root \ web-INF \ class下修改后的jdbc.properties配置文件替换为(有一个未更改的直接替换)

大数据爬虫安装的示例分析

修改后,将修改后的爬虫文件按成压缩文件。

4.上传平台主节点并解压(这里我就不介绍怎么上传了。在本例中,它被上传到根目录,安装包可以上传到任何目录以选择根目录)。

大数据爬虫安装的示例分析

拉开…的拉链

解压缩命令。解压唱完之后,还会多一个cuawler的文件夹。

大数据爬虫安装的示例分析

使用cd crawler命令进入crawler文件夹。

大数据爬虫安装的示例分析

使用mysql -uroot -p123456 numysql.sql命令添加numysql.sql数据库。

大数据爬虫安装的示例分析

5.分发爬网程序文件

大数据爬虫安装的示例分析

每个节点都需要有一个dkcrw文件,dkcrw-tomcat-7.0.56文件只能放在一个节点上,不能放在主节点上(选举放在从节点上)

命令:

scp -r

{您可以填写多个要分发的文件名,如果不在要分发文件的目录中,请添加一个路径} {服务器的ip或分发名称:的路径}

例如:

cd /opt/dkh

scp -r dkcrw dk2:/opt/dkh/

scp-r dkc rw dkc rw-Tomcat-7 . 0 . 56/dk 2:/opt/dkh/

大数据爬虫安装的示例分析

6.在分发dkcrw-tomcat-7.0.56文件的节点上为文件添加权限。

命令:

chmod-R 755 {需要许可的文件等。}

例如:

cd /opt/dkh

chmod-R 755 dk rwd kcrw-Tomcat-7 . 0 . 56/

大数据爬虫安装的示例分析

7.启动爬虫界面。

命令:

CD/opt/dkh/dkc rw-Tomcat-7 . 0 . 56/bin/。/startup.sh

大数据爬虫安装的示例分析

界面启动后,在浏览器中输入启动界面节点的IP,打开爬虫界面,查看启动是否成功(默认为账号密码)。

大数据爬虫安装的示例分析

8.启动每个节点的dkcrw.jar。

命令:

主节点操作

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar主dkcrw.log 21

从节点运行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar从属dkcrw.log 21

注意:可以先用前台启动爬虫,确保爬虫正确。

前台启动命令Java-jar dk rw . jar主/从

以上就是《大数据爬虫安装实例分析》一文的全部内容,感谢阅读!希望分享的内容对大家有所帮助。更多相关知识,请关注行业资讯频道!

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/153429.html

(0)

相关推荐

  • oracle常用hint是怎样的

    技术oracle常用hint是怎样的oracle常用hint是怎样的,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

    攻略 2021年11月12日
  • Redis中的两种持久化方式是什么

    技术Redis中的两种持久化方式是什么本篇内容主要讲解“Redis中的两种持久化方式是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Redis中的两种持久化方式是什么”吧

    攻略 2021年10月25日
  • Oracle中检查数据块损坏的工具有哪些

    技术Oracle中检查数据块损坏的工具有哪些本篇内容主要讲解“Oracle中检查数据块损坏的工具有哪些”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Oracle中检查数据块损

    攻略 2021年11月9日
  • 怎么从db2数据库查询表结构

    技术怎么从db2数据库查询表结构小编给大家分享一下怎么从db2数据库查询表结构,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!SELECT a.TABNAME,a.REMARKS,b.NAME, b

    攻略 2021年11月11日
  • Hibernate三种状态的转换示例

    技术Hibernate三种状态的转换示例小编给大家分享一下Hibernate三种状态的转换示例,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!一、遇到的神奇的事情使用jpa操作数据库,当我使用findAl

    攻略 2021年12月8日
  • 罗刹神,斗罗大陆里海神和罗刹神谁更强

    技术罗刹神,斗罗大陆里海神和罗刹神谁更强海神是一级神祗罗刹神,相比罗刹和天使海神更厉害一点所以海神不只是一级神,修罗神是神王,创世的5个后代之一,相比毁灭,毁灭还是甘拜下风,但是相比龙神,龙神就差得更远了,一代修罗神一刀

    生活 2021年10月31日