怎么快速掌握scrapy爬虫框架

技术怎么快速掌握scrapy爬虫框架这篇文章主要介绍“怎么快速掌握scrapy爬虫框架”,在日常操作中,相信很多人在怎么快速掌握scrapy爬虫框架问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家

本文主要介绍“如何快速掌握Scratchy爬虫框架”。在日常操作中,相信很多人对于如何快速掌握Scratchy爬虫框架有所疑惑。边肖查阅了各种资料,整理出简单易用的操作方法,希望能帮你解决“如何快速掌握Scratchy爬虫框架”的疑惑!接下来,请和边肖一起学习!

1. scrapy简介

Scrapy是基于事件驱动的Twisted框架,用纯python编写的爬虫框架。很长时间以来,Scrapy一直被用于在互联网上抓取图片和文本信息,但细节尚未记录。在此期间,因为工作需要,这个刺儿头的爬虫又被捡了起来。这篇文章将与你分享,你将能够使用它。欢迎交流。

1.1 scrapy框架

Scrapy框架包括5个主要组件和2个中间件Hook。

ENGIINE:整个框架的控制中心,控制整个爬虫的流程。根据不同的条件添加不同的事件(即Twisted)。

调度程序:事件调度程序。

下载器:接收爬虫请求并从互联网下载数据。

SPIDERS:发起爬虫请求,解析DOWNLOADER返回的网页内容,同时与数据持久化交互,需要开发人员编写。

ITEM PIPELINES:接收由SPIDERS解析的结构化字段并保存它们,这些字段需要由开发人员编写。

middleware:engline引擎和蜘蛛之间、引擎和DOWNLOADER之间的额外操作以钩子的形式提供给开发人员。

从上面来看,我们只需要实现SPIDERS(爬什么网站,如何解析)和ITEM PIPELINES(如何处理解析的内容)。其他事情都有框架帮你完成。

怎么快速掌握scrapy爬虫框架

1.2 scrapy数据流

如果我们详细地查看组件之间的数据流,我们会更了解框架的内部操作。

怎么快速掌握scrapy爬虫框架

鸿蒙系统正式战略合作,打造——HarmonyOS技术社区。

蜘蛛向ENGIINE发送一个爬虫请求,告诉它任务要来了。

ENGIINE将请求添加到SCHEDULER的调度队列中,说任务会交给你,由我来安排。

看着手里的许多爬行请求,调度器为ENGIINE选择了一个,并说大哥帮助将其转发给下载器。

好了,下载器,你的任务来了。

下载器:下载开始,下载完成。任务结果移交给ENGIINE。

ENGIINE会把结果给蜘蛛。您的一个请求已被下载。快去分析一下。

蜘蛛:好的,解析产生了结果字段。并将其转发给蜘蛛到物品管道。

项目管线:收到字段内容并保存。

从步骤1到步骤8,请求最终完成。你是不是觉得自己很多余?ENGIINE作为发射器夹在中间,可以直接跳过吗?想想如果你跳过它会发生什么。

在这里分析。

SCHEDULER的作用:调度任务,控制任务的并发性,防止机器不堪重负。

ENGIINE:基于Twisted框架,当一个事件到来时(比如转发一个请求),相应的事件通过回调来执行。我认为ENGIINE让所有的操作统一起来,根据事件组织其他组件,其他组件以低耦合的方式运行。对于一个框架来说,无疑是必要的。

2. 基础:XPath

编写爬虫最重要的是解析网页的内容。这一部分介绍了如何解析网页并通过XPath提取内容。

2.1 HTML节点和属性

怎么快速掌握scrapy爬虫框架

>2.2 解析语法

  •  a / b:‘/’在 xpath里表示层级关系,左边的 a是父节点,右边的 b是子节点

  •  a // b:表示a下所有b,直接或者间接的

  •  [@]:选择具有某个属性的节点

    •   //div[@classs], //a[@x]:选择具有 class属性的 div节点、选择具有 x属性的 a节点

    •   //div[@class="container"]:选择具有 class属性的值为 container的 div节点

  •  //a[contains(@id, "abc")]:选择 id属性里有 abc的 a标签

一个例子

response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').get_all()  # 获取所有class属性(css)为taglist的div, 下一个层ul下的所有li下所有a下所有img标签下data-original属性  # data-original这里放的是图片的url地址

3. 安装部署

Scrapy 是用纯python编写的,它依赖于几个关键的python包(以及其他包):

  •  lxml 一个高效的XML和HTML解析器

  •  parsel ,一个写在lxml上面的html/xml数据提取库,

  •  w3lib ,用于处理URL和网页编码的多用途帮助程序

  •  twisted 异步网络框架

  •  cryptography 和 pyOpenSSL ,处理各种网络级安全需求 

# 安装  pip install scrapy

4. 创建爬虫项目

scrapy startproject sexy  # 创建一个后的项目目录  # sexy  # │  scrapy.cfg  # │  # └─sexy  #     │  items.py  #     │  middlewares.py  #     │  pipelines.py  #     │  settings.py  #     │  __init__.py  #     │  #     ├─spiders  #     │  │  __init__.py  #     │  │  #     │  └─__pycache__  #     └─__pycache__  # 执行 需要到scrapy.cfg同级别的目录执行  scrapy crawl sexy

从上可知,我们要写的是spiders里的具体的spider类和items.py和pipelines.py(对应的ITEM PIPELINES)

5. 开始scrapy爬虫

5.1 简单而强大的spider

这里实现的功能是从图片网站中下载图片,保存在本地, url做了脱敏。需要注意的点在注释要标明

  •  类要继承 scrapy.Spider

  •  取一个唯一的name

  •  爬取的网站url加到start_urls列表里

  •  重写parse利用xpath解析reponse的内容

可以看到parse实现的时候没有转发给ITEM PIPELINES,直接处理了。这样简单的可以这么处理,如果业务很复杂,建议交给ITEM PIPELINES。后面会给例子

# 目录结果为:spiders/sexy_spider.py  import scrapy  import os  import requests  import time  def download_from_url(url):      response = requests.get(url, stream=True)      if response.status_code == requests.codes.ok:          return response.content      else:          print('%s-%s' % (url, response.status_code))          return None  class SexySpider(scrapy.Spider):     # 如果有多个spider, name要唯一      name = 'sexy'      allowed_domains = ['uumdfdfnt.94demo.com']      allowed_urls = ['http://uumdfdfnt.94demo.com/']      # 需要爬取的网站url加到start_urls list里      start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']      save_path = '/home/sexy/dingziku'      def parse(self, response):          # 解析网站,获取图片列表          img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()          time.sleep(1)          # 处理图片, 具体业务操作, 可交给items, 见5.2 items例子          for img_url in img_list:              file_name = img_url.split('/')[-1]              content = download_from_url(img_url)              if content is not None:                  with open(os.path.join(self.save_path, file_name), 'wb') as fw:                      fw.write(content)          # 自动下一页(见5.3 自动下一页)          next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一页"]/@href').get()          if next_page is not None:              next_page = response.urljoin(next_page)              yield scrapy.Request(next_page, callback=self.parse)

5.2 items和pipline例子

这里说明下两个的作用

  •  items:提供一个字段存储, spider会将数据存在这里

  •  pipline:会从items取数据,进行业务操作,比如5.1中的保存图片;又比如存储到数据库中等

我们来改写下上面的例子

  •  items.py其实就是定义字段scrapy.Field() 

import scrapy class SexyItem(scrapy.Item):      # define the fields for your item here like:      # name = scrapy.Field()      img_url = scrapy.Field()
  •  spiders/sexy_spider.py 

import scrapy  import os  # 导入item  from ..items import SexyItem  class SexySpider(scrapy.Spider):    # 如果有多个spider, name要唯一      name = 'sexy'      allowed_domains = ['uumdfdfnt.94demo.com']      allowed_urls = ['http://uumdfdfnt.94demo.com/']      # 需要爬取的网站url加到start_urls list里      start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']      save_path = '/home/sexy/dingziku'      def parse(self, response):          # 解析网站,获取图片列表          img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()          time.sleep(1)          # 处理图片, 具体业务操作, 可交给yield items          for img_url in img_list:              items = SexyItem()              items['img_url'] = img_url              yield items
  •  pipelines.py 

import os  import requests  def download_from_url(url):      response = requests.get(url, stream=True)      if response.status_code == requests.codes.ok:          return response.content      else:          print('%s-%s' % (url, response.status_code))          return None  class SexyPipeline(object):      def __init__(self):          self.save_path = '/tmp'      def process_item(self, item, spider):          if spider.name == 'sexy':              # 取出item里内容              img_url = item['img_url']                        # 业务处理              file_name = img_url.split('/')[-1]              content = download_from_url(img_url)              if content is not None:                  with open(os.path.join(self.save_path, file_name), 'wb') as fw:                      fw.write(content)          return item
  •  重要的配置要开启在settings.py中开启piplines类,数值表示优先级 

ITEM_PIPELINES = {     'sexy.pipelines.SexyPipeline': 300,  }

5.3 自动下一页

有时候我们不仅要爬取请求页面中的内容,还要递归式的爬取里面的超链接url,特别是下一页这种,解析内容和当前页面相同的情况下。一种笨方法是手动加到start_urls里。大家都是聪明人来试试这个。

  •  先在页面解析下下一页的url

  •  scrapy.Request(next_page, callback=self.parse) 发起一个请求,并调用parse来解析,当然你可以用其他的解析

完美了,完整例子见5.1

next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一页"]/@href').get()  if next_page is not None:     next_page = response.urljoin(next_page)     yield scrapy.Request(next_page, callback=self.parse)

5.4 中间件

  •  下载中间件 中间件的作用是提供一些常用的钩子Hook来增加额外的操作。中间件的操作是在middlewares.py。可以看到主要是处理请求process_request,响应process_response和异常process_exception三个钩子函数。

  •  处理请求process_request: 传给DOWNLOADER之前做的操作

  •  响应process_response:DOWNLOADER给ENGIINE响应之前的操作

这里举一个添加模拟浏览器请求的方式,防止爬虫被封锁。重写process_request

from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware  import random  agents = ['Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;',                'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',                'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',                'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',                'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)']  class RandomUserAgent(UserAgentMiddleware):      def process_request(self, request, spider):          ua = random.choice(agents)          request.headers.setdefault('User-agent',ua,)

统一要在settings.py中开启下载中间件,数值表示优先级

DOWNLOADER_MIDDLEWARES = {      'sexy.middlewares.customUserAgent.RandomUserAgent': 20,  }

5.5 可用配置settings.py

除了上面提供的pipline配置开启和中间件配置外,下面介绍几个常用的配置

  •  爬虫机器人规则:ROBOTSTXT_OBEY = False, 如果要爬取的网站有设置robots.txt,最好设置为False

  •  CONCURRENT_REQUESTS:并发请求

  •  DOWNLOAD_DELAY:下载延迟,可以适当配置,避免把网站也爬挂了。

到此,关于“怎么快速掌握scrapy爬虫框架”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注网站,小编会继续努力为大家带来更多实用的文章!

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/42851.html

(0)

相关推荐

  • 男的和女的那个,男人与女人的生理期一样吗

    技术男的和女的那个,男人与女人的生理期一样吗男女的生理期是很不一样的,女人明显,男人不明显,女人很易看见,又摸得着,有规律,男人不易看见,不太成规律,只可意会感受男的和女的那个。女人二七天癸至,男人二八精生成。男女生理成

    生活 2021年10月28日
  • 如何理解数据分析工具Pandas

    技术如何理解数据分析工具Pandas如何理解数据分析工具Pandas,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。随着大数据和人工智能的发展,数据分析行业迎

    攻略 2021年11月23日
  • BtcTool有什么用

    技术BtcTool有什么用小编给大家分享一下BtcTool有什么用,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!BtcTool是一个基于第三方

    攻略 2021年11月25日
  • SQL中序列的用法示例

    技术SQL中序列的用法示例小编给大家分享一下SQL中序列的用法示例,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!1、语法 create

    攻略 2021年12月13日
  • 华氏度摄氏度对照表,1摄氏度等于多少华氏度

    技术华氏度摄氏度对照表,1摄氏度等于多少华氏度1摄氏度等于33.8华氏度。摄氏度的含义是指在1标准大气压下华氏度摄氏度对照表,纯净的冰水混合物的温度为0度,水的沸点为100度,其间平均分为100份,每一等份为1度,记作1

    生活 2021年10月22日
  • php怎样把utf8转换为gbk(phputf8转gbk)

    技术php中gbk转utf8用哪个函数这篇文章主要介绍php中gbk转utf8用哪个函数,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完! 在php中可以通过iconv函数

    攻略 2021年12月15日