Allen 2020-06-13 16:28:44 3722 0 0 0 0

Python抓包分析

抓包分析技术精讲
2. Fiddler安装与使用简介
3.使用Fiddler抓取HTTPS协议的网页
4.使用抓包分析获取腾讯视频评论数据

# 1, Fiddler安装与使用简介
   Fiddler工作原理:所谓的抓包就是将访问网页的细节展示出来。
   findall相当于代理服务器,IP:127.0.0.1,端口:8888
   1)安装:下载,点击exe安装
   2)配置:
     安装后,最好找一个浏览器与fiddler搭配使用,以下以火狐为例,需要设置浏览器网络配置
     选项,搜索网络:找到连接设置:手动代理配置,http代理=127.0.01,端口=8888
     >左侧显示,所有访问的细节
     >左侧下方,命令输入栏,最常用的命令clear,清掉链接
     左侧选中一条后,右侧展示这一条相关的信息
     右侧选中[Inspectors]右侧分上下两部分
     >右侧上方:显示的是请求,网页请求(Request)
        Headders:请求的头信息
        textview:具体信息
     >右侧下方:显示返回来的的响应
       有时显示:Responsebody is encoded, Click to decode.(需要点击一下解码)
        Headders:显示头信息
        textview:显示返回的具体信息(网页的源代码)
  3,如果用fiddler抓取https网页
    1,从fiddler中导出一个证书:菜单-tools-(Telerik Fiddler)Option
       打开https页,全部选中
       然后点击右侧按钮:atctions,点击展开的Export Root Certificate to Desktop
    2,安装到浏览器中
      选项,搜索证书,点击【查看证书】-选择证书颁发机构,在下方选择导入,选中导出的文件,后导入成功。
      点击确定。
    3,重启fiddler和浏览器。
    如果还出现问题参考博文:https://weibo.com/ttarticle/p/show?id=2309404103263770292716
  4,使用抓包分析获取腾讯视频评论数据
    目标站点: https://v.qq.com
    目标数据:某部电影或电视剧的评论数据
    要求:实现自动加载新评论
    接下来进入实战介绍。
    进入网站,打开电影,下面好多评论,打开网页源数据,查看评论内容,发现没有。
      说明网站做了隐藏,这时候就需要使用抓包工具。
      -点击加载评论,但网址没变。
    1)把网址放到火狐浏览器中
    2)fiddler中清掉clear,

import urllib.request
import re
cid="6375489932584768380"
for i in range(0,10):
    print("第"+str(i+1)+"页的评论数据")
    url="https://video.coral.qq.com/varticle/2461939412/comment/v2?caIIback=_var" # +str(cid)+
    data=urllib.request.urlopen(urI).read().decode("utf-8","ignore")
    pat1='"content":"(.*?)"'
    comment=re.compile(pat1,re.S).findall(data)
    for item in comment:
        print(eval('u"'+str(item)+'"'))
        print("------")
    pat2='"last":"(.*?)"'
    cid=re.compile(pat2,re.S).findall(data)[0]

end;


【版權聲明】
本文爲原創,遵循CC 4.0 BY-SA版權協議!轉載時請附上原文鏈接及本聲明。
原文鏈接:https://tdlib.com/am.php?t=kKVuE9YX5kvu
Tag: Python 抓包 Fiddler
歡迎評論
未登錄,
請先 [ 註冊 ] or [ 登錄 ]
(一分鍾即可完成註冊!)
返回首頁     ·   返回[Pyhon爬虫]   ·   返回頂部