本文将详细解释Python如何抓取视频网站的弹幕,并制作文字的云图。文章内容质量很高,我就分享给大家作为参考。希望大家看完这篇文章后对相关知识有一定的了解。
大家好,最近的“瓜”让我们措手不及,可谓“热点”。作为程序员,我们也可能随时为此加班。
各种评论视频在网上“爆”了,打开首页全是热门话题,某知名UP大师发布的视频都要出问题。
我只是在想:这么热门的话题和内容,有没有通用的分析方法?答案是:抓住弹幕或评论。
我们以Ice冰vlog的视频弹幕为例进行分析。
一、获取方法
1.网页解析:网页结构随时可能发生变化。
2.python第三方api:可能存在维护跟不上的问题。
简单对比后,我选择了第一种方法。
00-1010抓取弹幕的关键是获取视频的cid,有些地方也叫oid。通过浏览器开发者模式找到视频的cid并不难。我们可以通过cid.xml抓取https://comment.bilibili.com/视频的所有弹幕
00-10: 10由于弹幕的内容集中在xml文件中,我们需要下载这些文件并用xpath解析它们。
fromlxmlimportetree
导入请求
进口时间
importjieba
importnumpayasnp
from PiLiimportimage
fromWordCloudIMPORTWordCloudAswc
classBilibili(:)
' ' docstringforBilibili ' ' '
def__init__(self,oid):
self . headers={ 0
主机' :'api.bilibili.com ',
连接' : '保持活动状态',
缓存控制' : '最大年龄=0 ',
升级-不安全-请求' :'1 ',
用户代理' : ' Mozilla/5.0(windowsnt 10.0;Win64x64)applebwebkit/537.36(KHTML,likeGecko)Chrome/69 . 0 . 3497 . 92 safari/537.36 ',
接受' : '文本/html,应用程序/xhtml xml,应用程序/XML;q=0.9,image/webp,image/apng,*/*;q=0.8 ',
接受-编码' :'gzip,deflate,br ',
接受-语言' :'zh-CN,zh;q=0.9 ',
不间断空格
; 'Cookie': 'finger=edc6ecda; LIVE_BUVID=AUTO1415378023816310; stardustvideo=1; CURRENT_FNVAL=8; buvid3=0D8F3D74-987D-442D-99CF-42BC9A967709149017infoc; rpdid=olwimklsiidoskmqwipww; fts=1537803390'
}
self.url='https://api.bilibili.com/x/v1/dm/list.so?oid='+str(oid)
self.barrage_reault=self.get_page()
# 获取信息
def get_page(self):
try:
# 延时操作,防止太快爬取
time.sleep(0.5)
response=requests.get(self.url,headers=self.headers)
except Exception as e:
print('获取xml内容失败,%s' % e)
return False
else:
if response.status_code == 200:
# 下载xml文件
with open('bilibili.xml','wb') as f:
f.write(response.content)
return True
else:
return False
# 解析网页
def param_page(self):
time.sleep(1)
if self.barrage_reault:
# 文件路径,html解析器
html=etree.parse('bilibili.xml',etree.HTMLParser())
# xpath解析,获取当前所有的d标签下的所有文本内容
results=html.xpath('//d//text()')
return results
四、弹幕去重
重复的弹幕进行归类,未出现过的弹幕创建新的分类。为词频统计和词云做好准备。
# 弹幕去重 def remove_double_barrage(self): ''' double_arrage:所有重复弹幕的集合 results:去重后的弹幕 barrage:每种弹幕内容都存储一遍 ''' double_barrage=[] results=[] barrage=set() for result in self.param_page(): if result not in results: results.append(result) else: double_barrage.append(result) barrage.add(result) return double_barrage,results,barrage
五、弹幕重复次数统计和制作词云
我们在网上照一张“王冰冰”的照片,进行简单的处理,作为词云的轮廓图。
# 弹幕重复次数和词云制作 def make_wordCould(self): double_barrages,results,barrages=self.remove_double_barrage() # 重词计数 with open('barrages.txt','w') as f: for barrage in barrages: amount=double_barrages.count(barrage) f.write(barrage+':'+str(amount+1)+'\n') # 设置停用词 stop_words=['【','】',',','.','?','!','。'] words=[] if results: for result in results: for stop in stop_words: result=''.join(result.split(stop)) words.append(result) # 列表拼接成字符串 words=''.join(words) words=jieba.cut(words) words=''.join(words) bingbing=np.array(Image.open('冰冰.jpg')) w=wc(font_path='C:/Windows/Fonts/SIMYOU.TTF', background_color='white', width=900, height=600, max_font_size=15, min_font_size =1, max_words=3000, mask=bingbing) w.generate(words) w.to_file('bingbing.jpg') b=Bilibili(283851334)#视频的cid b.make_wordCould()#绘制词云
统计结果:
关于Python如何爬取视频网站弹幕并做成词云图就分享到这里了,希望
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/49732.html