本文将详细解释如何使用crawler框架Scrapy来部署crawler。这篇文章的内容质量很高,所以边肖会分享给大家参考。希望你看完这篇文章后有所了解。
本文主要描述如何将我们编写的爬虫程序部署到生产环境中。我们使用Scrapy提供的爬虫管理工具scrapyd来部署爬虫程序。
00-1010:一是由scrapy官方提供;第二,我们使用JSON API部署爬虫、控制爬虫、查看运行日志都非常方便。
00-1010
1 为什么使用 scrapyd?
选择一台主机作为服务器,安装并启动scrapyd服务。之后,scrapyd将作为守护进程存在于系统中,监控爬虫的运行和请求,然后启动进程执行爬虫程序。
00-1010使用pip安装scrapyd很方便。
00-1010从终端命令行使用以下命令启动服务:
启动服务结果如下:
Scrapyd还提供了一个网络接口。方便我们查看和管理爬虫程序。默认情况下,scrapyd监听端口6800,并在scrapyd运行后。在这台机器上,使用浏览器访问http://localhost :6800/address查看当前正在运行的项目。
00-1010直接使用scrapyd-client提供的scrapyd-deploy工具。
2 使用 scrapyd
scrapyd在服务器端运行,而scrapyd-client在客户端运行。使用client scrapyd-client通过调用scrapyd的json接口来部署爬虫项目。
00-1010在终端下运行以下安装命令:
00-1010修改项目目录中的scrapy.cfg文件。
如果您的服务器配置了HTTP基本身份验证,您需要在scrapy.cfg文件中添加用户名和密码。这是为了登录到服务器。
00-1010在爬虫项目根目录中执行以下命令:
Target是上一步配置的服务器名称,project是项目名称,可以根据实际情况自行指定。
我将目标指定为服务器,将项目指定为演示,因此我想执行以下命令:
部署将打包您当前的项目。如果当前项目下有setup.py文件,将使用该文件。如果没有文件,将自动创建一个。(如果后期项目需要打包,可以根据自己的需要修改信息,也可以暂时忽略)。从返回的结果中,我们可以看到部署状态、项目名称、版本号和爬虫号,以及当前的主机名。
操作结果如下
下:
使用以下命令检查部署爬虫结果:
我指定服务器名称为 server,所以要执行命令如下:
刷新 http://localhost:6800/ 页面, 也可以看到Available projects: demo
的字样。
4 使用 API 管理爬虫
scrapyd 的 web 界面比较简单,主要用于监控,所有的调度工作全部依靠接口实现。官方推荐使用 curl 来管理爬虫。
所以要先安装 curl。
-
windows 用户可以到该网站
https://curl.haxx.se/download.html
下载 curl 安装包进行安装。 -
ubuntu/Mac 用户直接使用命令行安装即可。
开启爬虫 schedule
在爬虫项目的根目录下,使用终端运行以下命令:
成功启动爬虫结果如下:
取消爬虫
列出项目
列出爬虫、版本、job 信息
删除爬虫项目
关于如何运用爬虫框架Scrapy部署爬虫就分享到这里了,希望
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/105127.html