大数据爬虫应用场景(大数据爬虫分析系统)

技术大数据爬虫安装的示例分析这篇文章主要介绍大数据爬虫安装的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!爬虫安装前准备工作:大数据平台安装完成、zookeeper、redis、elast

本文主要介绍大数据爬虫安装的实例分析,非常详细,具有一定的参考价值。感兴趣的朋友一定要看完!

爬虫安装前准备:大数据平台安装完成,zookeeper、redis、elasticsearch、mysql等组件安装启动成功。

1.修改爬虫安装配置文件(最好离线修改后再上传到平台)

大数据爬虫安装的示例分析

大数据爬虫安装的示例分析

2.修改crawler \ dkcrw \ jdbc.properties配置文件(默认情况下只能修改图片中的内容)

大数据爬虫安装的示例分析

Hbase.zookeeper.quorum填写的地址应在DKM监控平台上查看:

大数据爬虫安装的示例分析

Redis相关配置见以下界面:

大数据爬虫安装的示例分析

3.将crawler \ dkc rw \ to \ crawler \ dkc rw-Tomcat-7 . 0 . 56 \ web apps \ root \ web-INF \ class下修改后的jdbc.properties配置文件替换为(有一个未更改的直接替换)

大数据爬虫安装的示例分析

修改后,将修改后的爬虫文件按成压缩文件。

4.上传平台主节点并解压(这里我就不介绍怎么上传了。在本例中,它被上传到根目录,安装包可以上传到任何目录以选择根目录)。

大数据爬虫安装的示例分析

拉开…的拉链

解压缩命令。解压唱完之后,还会多一个cuawler的文件夹。

大数据爬虫安装的示例分析

使用cd crawler命令进入crawler文件夹。

大数据爬虫安装的示例分析

使用mysql -uroot -p123456 numysql.sql命令添加numysql.sql数据库。

大数据爬虫安装的示例分析

5.分发爬网程序文件

大数据爬虫安装的示例分析

每个节点都需要有一个dkcrw文件,dkcrw-tomcat-7.0.56文件只能放在一个节点上,不能放在主节点上(选举放在从节点上)

命令:

scp -r

{您可以填写多个要分发的文件名,如果不在要分发文件的目录中,请添加一个路径} {服务器的ip或分发名称:的路径}

例如:

cd /opt/dkh

scp -r dkcrw dk2:/opt/dkh/

scp-r dkc rw dkc rw-Tomcat-7 . 0 . 56/dk 2:/opt/dkh/

大数据爬虫安装的示例分析

6.在分发dkcrw-tomcat-7.0.56文件的节点上为文件添加权限。

命令:

chmod-R 755 {需要许可的文件等。}

例如:

cd /opt/dkh

chmod-R 755 dk rwd kcrw-Tomcat-7 . 0 . 56/

大数据爬虫安装的示例分析

7.启动爬虫界面。

命令:

CD/opt/dkh/dkc rw-Tomcat-7 . 0 . 56/bin/。/startup.sh

大数据爬虫安装的示例分析

界面启动后,在浏览器中输入启动界面节点的IP,打开爬虫界面,查看启动是否成功(默认为账号密码)。

大数据爬虫安装的示例分析

8.启动每个节点的dkcrw.jar。

命令:

主节点操作

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar主dkcrw.log 21

从节点运行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar从属dkcrw.log 21

注意:可以先用前台启动爬虫,确保爬虫正确。

前台启动命令Java-jar dk rw . jar主/从

以上就是《大数据爬虫安装实例分析》一文的全部内容,感谢阅读!希望分享的内容对大家有所帮助。更多相关知识,请关注行业资讯频道!

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/153429.html

(0)

相关推荐

  • Java中如何把二叉搜索树转换为累加树

    技术Java中如何把二叉搜索树转换为累加树这篇文章主要介绍了Java中如何把二叉搜索树转换为累加树,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。一、题目给

    攻略 2021年11月2日
  • base64编码是怎样的

    技术base64编码是怎样的本篇内容介绍了“base64编码是怎样的”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!  B

    攻略 2021年11月12日
  • SpringCloud (一) Eureka

    技术SpringCloud (一) Eureka SpringCloud (一) EurekaEurekaEureka 是一个服务治理组件,它主要包括服务注册和服务发现,主要用来搭建服务注册中心。
    Eu

    礼包 2021年12月23日
  • 什么是分布式数据库和TIDB 整体架构

    技术什么是分布式数据库和TIDB 整体架构这篇文章给大家介绍什么是分布式数据库和TIDB 整体架构,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。TIDB 是一个分布式,强一致的可水平扩展的关系型数据

    攻略 2021年12月1日
  • Spring中接口注入的三种方式分别是什么

    技术Spring中接口注入的三种方式分别是什么本篇文章为大家展示了Spring中接口注入的三种方式分别是什么,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Spring中 接口注入

    攻略 2021年10月27日
  • 同学过生日送什么礼物好,同学过生日,送什么礼物好呢

    技术同学过生日送什么礼物好,同学过生日,送什么礼物好呢送同学礼物的时候,相信只要用心,就一定会让你们之间的感情得到进一步的加深!尤其是在同学过生日的时候,送同学生日礼物推荐一定要推荐那些带有心意的生日礼物才行!不过送同学

    生活 2021年10月24日