本次实验环境：
操作系统：Mac OS
开发语言：python 3.6
IDE：jupyter notebook（建议使用）
浏览器：Chrome（版本75.0.3770.100）
需要用到的库：selenium、bs4、time、datetime、pandas、os。
QQ群的主页为：https://qun.qq.com/member.html。如果想查阅群号为123456的主页，则在主页URL后面加上#gid=123456。即我们想爬取群号为123456的群成员，需要请求的URL为：
https://qun.qq.com/member.html#gid=123456
如果正常登陆页面，第一步需要扫码登陆。如果在电脑端已经登陆过QQ的话，则可以通过选择相应的QQ用户进行登陆。
首先分享我准备的python学习资料，给那些正在学习python的同学，或者准备学习python的同学，关注，转发，私信小编“01”即可免费获取！
登陆后，页面的架构可能会有两种：一种是无群成员积分等级的，如下所示：
另外，一种有群成员积分等级的：
对于两种不同的架构，代码细节上有点出入。不过在本次实验中会识别出是否有群成员积分等级，再获取字段数据。
程序会先创建一个文件夹，用于存放数据集。文件夹命令方式：dataset + yyyymmdd（本日日期）。如果文件夹已存在，则放弃创建。
爬虫开始时，先用selenium模拟打开浏览器，现在selenium为3.x版本，需要下载相应的插件才能启动，否则会报错。对于Chrome浏览器，插件下载地址：http://npm.taobao.org/mirrors/chromedriver/。对于火狐的话：https://github.com/mozilla/geckodriver/releases下载/。下载的时候必须选择与自己浏览器版本相照应的插件版本。
下载完成后解压，并把解压内容添加到python环境变量中去，又或者复制到浏览器安装目录文件中，又或者在代码允许selenium的时候制定插件路径（本次实验中使用的方法）。
代码运行后，会自动弹出新的浏览器，扫码或者点击登陆后，只能展示前面20个左右的群成员名单，需要不停下拉到底部，才能加载到完整的名单信息。在这里通过代码实现。
获取到完整的页面信息后，用BeautifulSoup进行提取数据，并用pandas汇成表格，保存到本地。
具体代码如下（请重点留意代码注释，涉及很多细节。甚至对于不同的操作系统、浏览器也有提醒）：
from selenium import webdriver
from bs4 import BeautifulSoup
import time
import datetime
import os
import pandas as pd
def save_data(driver):
res = driver.page_source # 获取源码
driver.quit() # 关闭浏览器
soup = BeautifulSoup(res,"lxml")
html = soup.select("td")
## 先用第2、3 个成员判断一下有无 <群标签>字段
age_2 = html[ 2 * 10 + 6].text.replace("\t", "").replace("\n", "") ## Q龄
age_3 = html[ 2 * 10 + 6].text.replace("\t", "").replace("\n", "") ## Q龄
data = []
if "年" in age_2 and "年" in age_3: ## 说明无<群标签>
for i in range(5000): ## 每个群最大5000人
try:
item = []
for j in range(2,9):
lineArr = html[ i*10 + j].text.replace("\t", "").replace("\n", "")
item.append(lineArr) ## 添加每个成员的信息，
data.append(item)
except:
break
cols = ['群成员', '群名片', 'QQ号', '性别', 'Q龄', '入群时间', '最后发言时间']
df = pd.DataFrame(data = data, columns = cols)
if "年" not in age_2 or "年" not in age_3: ## 说明有<群标签>
for i in range(5000): ## 每个群最大5000人
try:
item = []
for j in range(2,10):
lineArr = html[ i*11 + j].text.replace("\t", "").replace("\n", "")
item.append(lineArr) ## 添加每个成员的信息，
data.append(item)
except:
break
cols = ['群成员', '群名片', 'QQ号', '性别', 'Q龄', '入群时间', '等级积分', '最后发言时间']
df = pd.DataFrame(data = data, columns = cols)
## 文件命令方式：路径path：./dataset_yyyymmdd/
## 文件名name：群号 + .csv
df.to_csv("./dataset_" + now[:8] + "/" + group_id + '.csv',
encoding = 'utf-8',
index = None)
return df
def scroll_foot(driver):
'''
下拉界面
'''
js="var q=document.documentElement.scrollTop=100000"
return driver.execute_script(js)
now = datetime.datetime.today().strftime("%Y%m%d")
try: ## 创建一个文件夹，用于存放数据集。文件夹命令方式：dataset + yyyymmdd（本日日期）
file = os.mkdir("dataset_" + now)
except: ## 如果文件夹已存在，则放弃创建
pass
group_id = '189200265' ## 需要爬取的群号
url = 'https://qun.qq.com/member.html#gid={}'.format(group_id)
driver = webdriver.Chrome(executable_path = '/Users/apricity/Desktop/chromedriver') # 手动输入插件路径
# driver = webdriver.Firefox() ## 如果是火狐浏览器可以用这行代码替换掉上面的
driver.get(url=url)
## 允许完上面代码后请确认登陆了再运行下面程序
## 可以利用time.sleep 给自己x秒内登陆完成后再自动执行下面程序
time.sleep(10)
max_n = 0
while max_n < len(driver.page_source):
max_n = len(driver.page_source)
scroll_foot(driver)
time.sleep(2.5) ## 每2.5秒下拉一次刷新名单，直至刷新不到新名单位置
df = save_data(driver) ## 保存本地数据
df.head()
以下是本人随便抽了一个群进行爬取的结果展示：
