【超详细】QQ空间说说爬取教程(看看你的女神在想什么~

news/2024/10/31 3:17:44/

【超详细】QQ空间说说爬取教程

文章目录

  • 【超详细】QQ空间说说爬取教程
    • 环境
    • selenium模拟登录
    • 说说内容获取
      • 破解g_tk
    • 说说的评论获取
    • 说说的点赞人获取
      • url参数构成
    • 好友列表获取
    • 数据库的存储
    • 如何加速
    • ps


暑假闲来无事,研究了一下QQ空间的爬取,以下是一些记录

环境

  • 系统: win10
  • 语言: python3.7
  • 浏览器: Chrome
  • 数据库: mysql 8.0

selenium模拟登录

QQ空间的反爬做的相对较好,而且由于好友权限的原因,我们要先登录后再进行说说等信息的获取

selenium是获取登录cookies的一大利器,非常方便

[外链图片转存失败(img-F3LVKTLU-1564936981762)(_v_images/1564893585_32236.png)]

在空间的登陆界面可以观察到,登录的窗口与背景窗口是分开的,所以我们需要先切换frame

切换窗口后定位到账号密码登录元素的位置后点击

[外链图片转存失败(img-em7yDL2z-1564936981763)(_v_images/1564894488_20108.png)]

使用send_keys函数把账号和密码写入对应位置后定位登录元素后点击,这里使用自带的get_cookies函数获取到cookies,但是这个cookies需要过滤一下,具体操作看以下代码

代码为类的部分节选,完整代码在最后,未声明的变量皆为类的成员变量

def login_func(self,z):browser = webdriver.Chrome()browser.maximize_window()browser.get(self.login_url)time.sleep(1.2)browser.switch_to.frame('login_frame')browser.find_element_by_id('switcher_plogin').click()time.sleep(1)browser.find_element_by_id('u').send_keys(self.number)browser.find_element_by_id('p').send_keys(self.password)time.sleep(1)browser.find_element_by_id('login_button').click()time.sleep(1)cookies_list = browser.get_cookies()for cookie in cookies_list:if 'name' in cookie and 'value' in cookie:self.cookies[cookie['name']] = cookie['value']# print(self.cookies)with open('cookie_dict_{}.txt'.format(z),'w') as f:    # 这里是为了一次性多刷几次cookies建立一个cookies池,便于加快爬虫速度,后面再提json.dump(self.cookies,f)# browser.close()

说说内容获取

在打开开发者工具后,在众多XHR对象中发现emotion_cgi……里面的msglist即是说说的内容

[外链图片转存失败(img-sg3qEAyE-1564936981764)(_v_images/1564895647_1317.png)]

[外链图片转存失败(img-tPqf5ACv-1564936981765)(_v_images/1564895988_26464.png)]

这里的msglist是个列表,里面有0-20条不等的说说,可能跟空间发的说说的形式问题相关,至多不超过20条

稍微猜测一下这里的参数的含义,一眼明了的我就不说了,我不清楚的也没有肆意揣度

cmtnum 转发数

commentlist 评论列表,里面是每条说说的评论内容

conlist 内容的一个列表,里面有两个参数,一个是内容一个不知道有啥作用,取内容的话直接取下面的content也是一样的

created_time 说说发表的时间戳

isEditable 是否编辑过

lbs 位置信息

name 你给的备注,没备注就是昵称

pic 如果发的说说有图片则在这个键下面,但是如果没有图片则没有这个键

pictotal 图片数量,没有图片则没有这个键

rt_sum 猜测是转发数量

source_appid 说说来自的app标识

source_name 说说来自的设备名称

source_url 说说来自的网址

tid 这个是每个说说独一无二的标识,可能是根据某些变量使用特定的算法得出的,直接使用即可

uin 该说说的作者QQ

当然如果是转发的说说,这里还会多别的一些键值,我这里未对转发说说进行处理,只是单纯地取出该QQ转发时发送的内容,有兴趣的朋友可以加以改进

下面我们看一下这个内容的获取网址构成

Headers选项中可以看网址的构成参数

经过尝试发现,uin后面对应目标QQ号,sort可能对应排序方式,我采取的默认值0,pos这是个关键参数,其改变决定了返回数据的范围,num是返回的说说数量,我选用的是默认值,不知道增大会有什么变化,读者可以尝试

最后一个关键参数是g_tk,这是个加密参数,有了这个才能正确登录

在这里插入图片描述

破解g_tk

经过网上的搜索发现是js,破解的方法见下图

随意点开一个人的空间,进行如下操作

在这里插入图片描述

搜索g_tk=后面的关键词

在这里插入图片描述

找到对应的函数,这里的函数读一下之后将其转成对应的python语言即可

def get_g_tk(self):p_skey = self.cookies['p_skey']t = 5381for i in p_skey:t += (t<<5) + ord(i)return t & 2147483647

说说的评论获取

这里没什么好说的,数据返回是跟说说一起的,在commentlist的键里面,里面的键值对和外面的类似,这里就不赘述了,值得一提的是,外面的cmtnum返回的评论数是指单独的回复数量,也就是跟楼的评论数量不被统计,跟楼的评论在每条父评论的里面,对应键list_3

在这里插入图片描述

说说的点赞人获取

在这里插入图片描述

框内可以点击,点击后出现

在这里插入图片描述

同时右边出现一个

在这里插入图片描述

这里对应的内容为

is_dolike 我是否点赞了

like_uin_info 点赞这条说说的朋友的信息(除我以外

total_number 总共的点赞数量

每位点赞好友里面还有一些信息,我这里就没有赘述,那些键值都看得懂

url参数构成

那么还需要知道的就是url的构成,老方法,先看headers

在这里插入图片描述

那tid在哪里呢

之前的msglist里每条说说底下对应都存在一条tid,这里就是它的用武之地了!

好友列表获取

我在网上看到过很多个版本

我自己也都尝试了一下,以下的版本获取到的好友信息与QQ好友是最一致的

进入自己的空间后在设置中点权限设置

[外链图片转存失败(img-YfwVvZOX-1564936981776)(_v_images/1564934656_8725.png)]

在这里插入图片描述

找到对应的项,friendlist里面即是,但是只有50条,如果你点开了xxx个QQ好友并向下滚动后查看url构成

就会发现

在这里插入图片描述

offset偏移量用来查看更多的好友

如果是最后一页,返回的字典中的键end的值为1

数据库的存储

由于对数据库的使用不是十分熟练,这里单纯只是为了存一下,有很多弊端,例如图片的存储

而且用的很丑陋,这段代码可以忽略

def check_exist(self,uid):cursor = self.conn.cursor()cursor.execute("show databases")content = [i[0] for i in cursor.fetchall()]if uid not in content:cursor.execute('create database `{}`;'.format(uid))cursor.execute('use `{}`;'.format(uid))msg = '''create table msg(id text,name char(100),content TEXT,createtime timestamp,tid char(32),location char(32),posx int(20),posy int(20),comment_num int(11),like_num int(11),pic_url TEXT,pic_num int,source_appid char(32),source_name char(32),is_tran char,trans_num char(32),trans_content TEXT);'''cursor.execute(msg)cmt = '''create table comment(tid char(32),id text,name char(100),content TEXT,createtime timestamp,reply TEXT)'''cursor.execute(cmt)like_table='''create table like_table(tid char(32),id text,name char(100),addr char(32),constellation char(32),gender char(4),if_qq_friend int(1),if_special_care int(1),is_special_vip int(1),portrait TEXT)'''cursor.execute(like_table)self.conn.commit()return 1else:return 0

如何加速

采取的是线程池,开多个线程同时跑

由于说说内容和点赞人的信息是两个请求,所以这之间需要一个暂停,否则很容易被拒绝请求

但是这样的方法还是有些问题的,尽管线程数增加了,同时爬取了多个空间,但是由于一个空间只是一个cookies,相当于一个空间还是单线程

后来修改了一下,搭了一个cookies池,15个线程爬同一个空间,速度明显加快,大约是2分钟600条说说,也就是1200+次访问,这还是在每次请求后暂停2-3s后的结果,由于测试的时候我的网络并不稳定,所以这个结果并不是最好结果,但即使是在网络不稳定的情况下,爬虫依旧十分稳定,并且只要cookies池够大,线程数就可以增加,效率自然也就会往上提

但是最新版本还没有提供多人同时爬取(代码还没写好,暂时鸽一下,有空改

最后啰嗦一句,如果是新号,频繁登录会被认定为异常,在午夜12点之后频繁登录也会被认定为异常,白天就很正常

ps

被拒绝访问的好友会被记录,但是这部分的数据库我是单独创建的,代码如下(不完整,自己补全

cursor.execute('create database `deny`;')
cursor.execute('use `deny`;')
s = '''
create table deny_friends
(
id text,
name text
)
'''
cursor.execute(s)

以下是源码地址
github源码地址

如果你觉得以上内容对你有所帮助,希望你能为我点个赞鼓励创作!谢谢~


http://www.ppmy.cn/news/266975.html

相关文章

【暗恋不可耻但无用】QQ空间爬虫-Python版(pyzone-crawler)

完整原文&#xff08;含源码&#xff09;&#xff1a;Github &#xff08;转载请注明出处&#xff0c;仅供分享学习&#xff0c;严禁用于商业用途&#xff09; 声明 在你心中是否有一个默默关注的小姐姐&#xff1f;你是否想知道在遇见她之前在她身边的一切&#xff1f;确认过…

java实现QQ空间日志列表获取

可以下载任意QQ用户的日志&#xff0c;以html文档形势保存。&#xff08;该用户必须开放所有用户访问权限&#xff09; 效果如图&#xff1a; /*** 日志下载修正版核心功能类* * author wensefu.jerry.Ling<br/>* wrote on 2011-1-26*/public class Kernel {pri…

ipv6无网络访问权限可行解决方案

原文地址&#xff1a;http://www.xitongtiandi.net/wenzhang/win10/12654.html Win10专业版下ipv6无网络访问权限解决方案&#xff08;只在win10专业版下做了测试&#xff0c;win7和win8.1待测试&#xff09; 1、首先打开 https://support.microsoft.com/en-us/kb/929852 选择…

QQ空间爬虫分享(2016年11月18日更新)

前言&#xff1a; 上一篇文章&#xff1a;《QQ空间爬虫分享&#xff08;一天可抓取 400 万条数据&#xff09;》 Github地址&#xff1a;QQSpider Q群讨论&#xff1a; 很抱歉QQSpider这个爬虫过了这么久才作更新&#xff0c;同时也很感谢各位同学的肯定和支持&#xff01;…

公开说说别人看不到_空间设置了权限说说所有人可见

说说设置为所有人可见,但是空间设置有权限的人才可进,那说说是不是所有人可以见? 不是,有权限的人才可以看到,因为说说设置的所有可见是针对可以访问你空间的所有人,不是说别人也可以看到 空间说说怎么设置所有人可见 1、登录QQ空间,进入QQ空间主页面2、把鼠标放在说说的…

html显示空间图片,qq空间显示不出来 为什么QQ空间有些图片显示不了

为什么QQ空间发表的说说 别人看不到 怎么显示不出详情请查看视频回答 QQ空间图标为什么显示不出来 是不是隐藏掉了 你点自己的资料 点图标最右边的图片管理看看 或者 你根本就没申请Q空间 点你自己资料的灰暗的空间图标申请一下把 我可以打开QQ空间&#xff0c;而且一进去的个人…

看访问受限的QQ空间

要看访问受限的QQ空间很简单啊,用手工. 在地址栏里输入 http://qqxoo.com/main.html?qqidQQ号 这样就可能看对方的空间 http://qqshow-user.tencent.com/QQ号/11/00 看MM的QQ绣 http://shuqian.qq.com/QQ号/ QQ 书签 http://h.qbar.qq.com/QQ号 这个是看她的Q吧 ht…

Python爬虫QQ空间好友说说

#Python爬虫QQ空间好友说说 先看效果:(轻微马赛克) 我的好友大概接近一百人&#xff0c;这里总共有3.5w条数据 ##具体步骤&#xff1a; ####**问题分析&#xff1a;** - QQ空间是动态网页&#xff0c;那么直接获得网页源码就没戏了&#xff0c;只能通过模拟浏览器 - 访问QQ空…