这篇文章主要介绍大蟒多线程如何秒爬猫眼电影,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
通过蟒蛇3的多线程,获取猫眼电影top100电影清单,并保存信息到本地,使用了要求库和正则表达式
#!/usr/bin/envpython
#-*-coding:utf-8-*-
# @ Author:AikerZhao爱克尔昭爱克尔昭
# @日期:2019/4/22:52AM
#@File:pamaoyan.py
#@Desc:
导入请求
来自请求。exceptionimportrequessexception
进口
importjson
从多处理导入工具
defget_one_page(url):
尝试:
response=requests.get(url)
ifresponse。状态码==200:
returnresponse.text
返回无
异常请求异常:
返回无
defparse_one_page(html):
模式=重新编译(' dd .*?董事会指数。*?(\d )/i.*?data-src='(.*?)'.*?名字是a .*?(.*?)/a.*?星'(。*?)/p '。*?releasetime '(.*?)/p.*?整数'(。*?)/i.*?分数'(。*?)/i.*?/dd ',re .s)
模式1=重新编译(' board-index .*?(\d )/i.*?data-src='(.*?)'.*?名字是a .*?(.*?)/a.*?星'(。*?)/p ',re .s)
items=re.findall(模式,html)
#打印(项目)
foriteminitems:
产量
索引:item[0],
评分' :第[5]项第[6]项,
图像' :项目[1],
标题' :项目[2],
演员' :第[3]项.strip()[3:],
时间' :项目[4][5:]
}
defwrite_to_file(内容):
withopen('result.txt ',' a ',编码='utf-8')asf:
f.write(json.dumps(内容,确保_ascii=False) '\n ')
f.close()
defmain(偏移量):
url='https://maoyan.com/board/4?偏移量=' str(偏移量)
html=get_one_page(url)
#打印(html)
foriteminparse _ one _ page(html):
打印(项目)
写入文件(项目)
if__name__=='__main__':
# foriirange(10):
#main(i*10)
池=池()
pool.map(main,[线范围(10)的I * 10以上是"蟒蛇多线程如何秒爬猫眼电影"这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注行业资讯频道!
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/114473.html