Python Scrapy爬虫框架如何使用

技术Python Scrapy爬虫框架如何使用本篇内容介绍了“Python Scrapy爬虫框架如何使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希

本文介绍了关于“如何使用Python爬虫框架”的知识。很多人在实际办案过程中都会遇到这样的困难。接下来,让边肖带领大家学习如何应对这些情况!希望大家认真阅读,学点东西!

1、项目创建

创建一个剪贴簿项目非常简单。一般来说,为了快速创建,可以通过终端直接输入以下代码:

scrapystartprojectzhuanti_new

如果你想在不同的文件中创建这个项目,你需要先找到相应的文件路径。当然也可以通过pycharm点击对应文件左下角的终端直接创建,项目会在对应的项目文件中直接创建一个Scrapy项目。

Python  Scrapy爬虫框架如何使用

2、Scrapy项目文件介绍

下面的截图展示了一个Scrapy项目有哪些文件,需要同时创建和生成哪些文件,后面会一一介绍。

Python  Scrapy爬虫框架如何使用

(1)顶层zhuanti_new文件夹是Scrapy的项目名称。

(2)第二层有4个文件:

第一个:和项目同名的文件就是我们通常所说的爬虫包,所有的爬虫代码都在这个包里。

第二个:main文件,是用来运行这个项目的主要功能代码文件。代码编写完成后,它将作为一个整体在这个文件中运行。

3号:配置文件,说明默认设置文件的位置是Juanti _ new模块下的设置文件,将项目名称定义为Juanti _ new。

第4:用于存储搜索结果的txt文件

对于第一个文件中的关键代码文件,请逐一介绍:

(1)items.py文件:定义爬虫捕获的字段信息。

Python  Scrapy爬虫框架如何使用

(2)pipelines.py文件:主要用于数据处理、清洗和存储。

Python  Scrapy爬虫框架如何使用

(3)settings.py:主要用于设置请求头、告警处理等相关问题。

Python  Scrapy爬虫框架如何使用

(4) Zhuantspider.py文件:专注于数据抓取过程的代码文件,也是新建立的文件。

代码如下:

从zhuanti_new.items导入zhuantiewiteimport scrapy from scrapy . selector class导入jianuspiderspider(scrapy。spider): name=' zhantispider ' allowed _ domain=[' jianshu.com ']start _ URL=[' https://www . jianshu.com/records?page=1 order _ by=hot ']# print(start _ URL)def parse(self,response) : ' '解析外部页面'''选择器=selector (response) nbsp

; partical_urls = selector.re('<div class="count"><a target="_blank" href="(.*?)">', selector)       for url in partical_urls:           print(url)           right_url = response.urljoin(url)           #print(right_url)           parts = ['?order_by=added_at&page={0}'.format(k) for k in range(1, 11)]           for part in parts:               # 要爬取每个专题的前10个文章的信息               real_url = right_url + part               #print(real_url)               yield scrapy.Request(real_url, callback=self.parse_detail)
      links = ['https://www.jianshu.com/recommendations/collections?page={}&order_by=hot'.format(i) for i in                range(2, 3)]       for link in links:           print(link)           request = scrapy.Request(link, callback=self.parse)           yield request
  def parse_detail(self, response):       selector = Selector(response)       content = selector.xpath('//div[@class="content"]')       for detail in content:           try:               title = detail.xpath('a[1]/text()').extract_first()               summary = detail.xpath('p/text()').extract_first().strip()               author = detail.xpath('div/a[1]/text()').extract_first()               # comments = detail.xpath('div/a[2]/text()').extract_first()这样是不行的               comments = detail.xpath('div/a[2]/text()').extract()[1].strip()               likes = detail.xpath('div/span[1]/text()').extract_first().strip()               money = detail.xpath('div/span[2]/text()').extract_first()
              item = ZhuantiNewItem()               if money is not None:                   item['title'] = title                   item['summary'] = summary                   item['author'] = author                   item['comments'] = comments                   item['likes'] = likes                   item['money'] = money.strip()               else:                   item['title'] = title                   item['summary'] = summary                   item['author'] = author                   item['comments'] = comments                   item['likes'] = likes               print(item)               yield item           except:               pass

以上就是最主要的几个文件,对于初学者只要按照对应要求完成这几个文件的代码填写就可以爬取到数据。

3、案例运行及结果

现在开始运行整体代码,就需要创建上述的main文件了,具体main文件代码如下:

Python Scrapy爬虫框架如何使用

运行的爬虫文件为:zhuantispider,务必不要写成Scrapy项目名称

爬取运行结果如下:

Python Scrapy爬虫框架如何使用

“Python Scrapy爬虫框架如何使用”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站,小编将为大家输出更多高质量的实用文章!

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/113490.html

(0)

相关推荐

  • JAVA怎么读取文本文件内容

    技术JAVA怎么读取文本文件内容本篇内容介绍了“JAVA怎么读取文本文件内容”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成

    攻略 2021年11月19日
  • mac下如何使用dd命令写入u盘镜像

    技术mac下如何使用dd命令写入u盘镜像本篇文章为大家展示了mac下如何使用dd命令写入u盘镜像,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。查询u盘位置zylMBP:Downl

    攻略 2021年11月11日
  • python机器学习中朴素贝叶斯算法及模型选择和调优的示例分析

    技术python机器学习中朴素贝叶斯算法及模型选择和调优的示例分析这篇文章将为大家详细讲解有关python机器学习中朴素贝叶斯算法及模型选择和调优的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文

    攻略 2021年11月14日
  • sqlserver sa登录失败(用户sa登录失败原因未与sql.server)

    技术SQL2008无法连接到.\SQLEXPRESS以及用户sa登录失败的示例分析本篇文章为大家展示了SQL2008无法连接到.\SQLEXPRESS以及用户sa登录失败的示例分析,内容简明扼要并且容易理解,绝对能使你眼

    攻略 2021年12月14日
  • git flow 的正确使用姿势(gitflow工作流程)

    技术如何浅析GitLab Flow的十一个规则本篇文章为大家展示了如何浅析GitLab Flow的十一个规则,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。使用 Git 版本控制

    攻略 2021年12月18日
  • C语言怎么实现内存对齐

    技术C语言怎么实现内存对齐这篇文章主要讲解了“C语言怎么实现内存对齐”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“C语言怎么实现内存对齐”吧!  一、概念      

    攻略 2021年12月8日