Python爬取bilibili弹幕并生成词云
目标网站：
我这里以 TES vs SN 第四场决胜局为例：
私信小编01即可获取大量Python学习资料
探索经历：
首先我们要找到我们想要爬取的弹幕都发在哪：
我们先播放这个视频，随便记住一条弹幕，到审查元素里面搜索
哎，可以找到，然后我们再查看一下网页的源代码，没有搜索结果。。。。。。这说明bilibili的弹幕是动态加载的，是js请求的数据，可能是json，也可能是XML
通常我们都会通过翻页等操作让网页进行js请求，我们在“后台”盯着，看有没有多出来的文件，依次翻看一下里面的东西，看看有没有存放弹幕的文件，于是我继续播放视频，列表里也确实多了很多文件
但很可惜并没有找到我想要的存储弹幕的文件
我觉得播放视频还是没能请求到弹幕文件，于是我找到了第二种方法：（需要先登陆一下）
如图，切换不同的日期可以找到我们想要的存储弹幕文件，是个XML文件：
这样，我们就找到了目标url，复制url打开就是我们想要的弹幕页面
同样，我们也找到了规律这里有两个可以更换的参数：
（1）oid：这个就是视频的id（这个可不太好找）
（2）date：这个很明显是日期
真正目标：
传送门：https://api.bilibili.com/x/v1/dm/list.so?oid=249509876&date2020-10-26
思路与方法：
（1）这个XML文件也是标签语言，用BeautifulSoup可以轻松爬取，存储到本地txt文件中
（2）利用jieba库对txt内容进行分词，再合并成一个空格分割的字符串（用于Wordcloud参数）
（3）使用Wordcloud生成词云并保存到本地
部分细节讲解：
弹幕标点符号和空格的去除：
这个是老生常谈了，我之前有一篇博客也说过：
SimHei字体：https://www.uslogger.com/details/3
完整代码：
import requests
import re
import os
from bs4 import BeautifulSoup
import jieba
from wordcloud import WordCloud
def getHTMLText(url):
try:
kv = {"user-agent":"Mozilla/5.0"}
r = requests.get(url,headers = kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print("getHTMLText失败！")
return ""
def fillbarrages(url,path_txt):
html = getHTMLText(url)
soup = BeautifulSoup(html,'html.parser')
with open(path_txt,'a',encoding='utf-8') as f:
for d in soup.find_all("d"):
# 使用正则表达式去除空格和标点，\W 表示匹配非数字字母下划线
barrage = re.sub('\W+','',d.text)
f.write(barrage)
f.close()
def getWordCloud(path_txt,path_jpg):
barrages_cut = jieba.lcut(open(path_txt,'r',encoding='utf-8').read()) #jieba分词
barrages = " ".join(barrages_cut) #回拼成字符串并用空格分割
wc= WordCloud(
font_path=r"F:\Fonts\SimHei.ttf",
background_color="skyblue",
max_words=100,
width=1080,
height=720
)
wc.generate(barrages)
wc.to_file(path_jpg)
def main():
url = "https://api.bilibili.com/x/v1/dm/list.so?oid=249509876&date2020-10-26"
path_txt = "TESvsSN第四场.txt"
path_jpg = "TESvsSN第四场.jpg"
fillbarrages(url,path_txt)
print("fillbarrages成功")
getWordCloud(path_txt,path_jpg)
print("getwordcloud成功")
main()
