Python如何爬取视频网站弹幕并做成词云图

技术Python如何爬取视频网站弹幕并做成词云图这篇文章将为大家详细讲解有关Python如何爬取视频网站弹幕并做成词云图,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。大家

本文将详细解释Python如何抓取视频网站的弹幕,并制作文字的云图。文章内容质量很高,我就分享给大家作为参考。希望大家看完这篇文章后对相关知识有一定的了解。

大家好,最近的“瓜”让我们措手不及,可谓“热点”。作为程序员,我们也可能随时为此加班。

各种评论视频在网上“爆”了,打开首页全是热门话题,某知名UP大师发布的视频都要出问题。

我只是在想:这么热门的话题和内容,有没有通用的分析方法?答案是:抓住弹幕或评论。

我们以Ice冰vlog的视频弹幕为例进行分析。

一、获取方法

1.网页解析:网页结构随时可能发生变化。

2.python第三方api:可能存在维护跟不上的问题。

简单对比后,我选择了第一种方法。

00-1010抓取弹幕的关键是获取视频的cid,有些地方也叫oid。通过浏览器开发者模式找到视频的cid并不难。我们可以通过cid.xml抓取https://comment.bilibili.com/视频的所有弹幕

Python如何爬取视频网站弹幕并做成词云图

00-10: 10由于弹幕的内容集中在xml文件中,我们需要下载这些文件并用xpath解析它们。

fromlxmlimportetree

导入请求

进口时间

importjieba

importnumpayasnp

from PiLiimportimage

fromWordCloudIMPORTWordCloudAswc

classBilibili(:)

' ' docstringforBilibili ' ' '

def__init__(self,oid):

self . headers={ 0

主机' :'api.bilibili.com ',

连接' : '保持活动状态',

缓存控制' : '最大年龄=0 ',

升级-不安全-请求' :'1 ',

用户代理' : ' Mozilla/5.0(windowsnt 10.0;Win64x64)applebwebkit/537.36(KHTML,likeGecko)Chrome/69 . 0 . 3497 . 92 safari/537.36 ',

接受' : '文本/html,应用程序/xhtml xml,应用程序/XML;q=0.9,image/webp,image/apng,*/*;q=0.8 ',

接受-编码' :'gzip,deflate,br ',

接受-语言' :'zh-CN,zh;q=0.9 ',

不间断空格

; 'Cookie': 'finger=edc6ecda; LIVE_BUVID=AUTO1415378023816310; stardustvideo=1; CURRENT_FNVAL=8; buvid3=0D8F3D74-987D-442D-99CF-42BC9A967709149017infoc; rpdid=olwimklsiidoskmqwipww; fts=1537803390'
        }
        self.url='https://api.bilibili.com/x/v1/dm/list.so?oid='+str(oid)
        self.barrage_reault=self.get_page()
    # 获取信息
    def get_page(self):
        try:
            # 延时操作,防止太快爬取
            time.sleep(0.5)
            response=requests.get(self.url,headers=self.headers)
        except Exception as e:
            print('获取xml内容失败,%s' % e)
            return False
        else:
            if response.status_code == 200:
                # 下载xml文件
                with open('bilibili.xml','wb') as f:
                    f.write(response.content)
                return True
            else:
                return False
    # 解析网页
    def param_page(self):
        time.sleep(1)
        if  self.barrage_reault:
            # 文件路径,html解析器
            html=etree.parse('bilibili.xml',etree.HTMLParser())
            # xpath解析,获取当前所有的d标签下的所有文本内容
            results=html.xpath('//d//text()')
            return results

四、弹幕去重

重复的弹幕进行归类,未出现过的弹幕创建新的分类。为词频统计和词云做好准备。

# 弹幕去重
def remove_double_barrage(self):
    '''
    double_arrage:所有重复弹幕的集合
    results:去重后的弹幕
    barrage:每种弹幕内容都存储一遍
    '''
    double_barrage=[]
    results=[]
    barrage=set()
    for result in self.param_page():
        if result not in results:
            results.append(result)
        else:
            double_barrage.append(result)
            barrage.add(result)
    return double_barrage,results,barrage

五、弹幕重复次数统计和制作词云

我们在网上照一张“王冰冰”的照片,进行简单的处理,作为词云的轮廓图。

Python如何爬取视频网站弹幕并做成词云图

# 弹幕重复次数和词云制作
def make_wordCould(self):
    double_barrages,results,barrages=self.remove_double_barrage()
    # 重词计数
    with open('barrages.txt','w') as f:
        for barrage in barrages:
            amount=double_barrages.count(barrage)
            f.write(barrage+':'+str(amount+1)+'\n')
            
    # 设置停用词
    stop_words=['【','】',',','.','?','!','。']
    words=[]
    if results:
        for result in results:
            for stop in stop_words:
                result=''.join(result.split(stop))
            words.append(result)
        # 列表拼接成字符串
        words=''.join(words)
        words=jieba.cut(words)
        words=''.join(words)
        bingbing=np.array(Image.open('冰冰.jpg'))
        w=wc(font_path='‪C:/Windows/Fonts/SIMYOU.TTF',
             background_color='white',
             width=900,
             height=600,
             max_font_size=15,
             min_font_size =1,
             max_words=3000,
             mask=bingbing)
        w.generate(words)
        w.to_file('bingbing.jpg')
    
b=Bilibili(283851334)#视频的cid
b.make_wordCould()#绘制词云

统计结果:

Python如何爬取视频网站弹幕并做成词云图

关于Python如何爬取视频网站弹幕并做成词云图就分享到这里了,希望

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/49732.html

(0)

相关推荐

  • linux中基础命令怎么用

    技术linux中基础命令怎么用这篇文章给大家分享的是有关linux中基础命令怎么用的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。1.xargs常用xargs -l1 -P5 -i行,线程,-i

    攻略 2021年11月20日
  • 官场小说,好看的官场小说全本给推荐一下

    技术官场小说,好看的官场小说全本给推荐一下《人民的名义》作者:周梅森,一位国家部委的项目处长被人举报受贿千万,当最高人民检察院反贪总局侦查处处长侯亮平前来搜查时,看到的却是一位长相憨厚官场小说、衣着朴素的“老农民”在简陋

    生活 2021年10月20日
  • R语言做文本挖掘 Part5情感分析

    技术R语言做文本挖掘 Part5情感分析 R语言做文本挖掘 Part5情感分析Part5情感分析
    【发现有人转载,决定把格式什么重新整理一遍,有时间做个进阶版文本挖掘,恩!原文地址:CSDN-R语言做文

    礼包 2021年12月18日
  • C++11列表初始化是怎样的

    技术C++11列表初始化是怎样的这篇文章主要介绍“C++11列表初始化是怎样的”,在日常操作中,相信很多人在C++11列表初始化是怎样的问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”C++

    攻略 2021年11月25日
  • vx works获取时间(vxworks中的任务是干嘛的)

    技术vxworks中Event是什么小编给大家分享一下vxworks中Event是什么,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!Event

    攻略 2021年12月22日
  • 星期4英文,一周的星期用英文怎么写

    技术星期4英文,一周的星期用英文怎么写星期一至星期日英文分别是Monday,Tuesday星期4英文、Wednesday、Thursday、Friday、Saturday、Sunday,具体缩写形式及发音如下1、星期一

    生活 2021年10月22日