Python抓包分析

抓包分析技术精讲
2. Fiddler安装与使用简介
3.使用Fiddler抓取HTTPS协议的网页
4.使用抓包分析获取腾讯视频评论数据

# 1, Fiddler安装与使用简介
   Fiddler工作原理：所谓的抓包就是将访问网页的细节展示出来。
   findall相当于代理服务器，IP:127.0.0.1，端口：8888
   1）安装：下载，点击exe安装
   2）配置：
     安装后，最好找一个浏览器与fiddler搭配使用，以下以火狐为例，需要设置浏览器网络配置
     选项，搜索网络：找到连接设置：手动代理配置，http代理=127.0.01，端口=8888
     >左侧显示，所有访问的细节
     >左侧下方，命令输入栏，最常用的命令clear，清掉链接
     左侧选中一条后，右侧展示这一条相关的信息
     右侧选中[Inspectors]右侧分上下两部分
     >右侧上方：显示的是请求，网页请求（Request)
        Headders:请求的头信息
        textview:具体信息
     >右侧下方：显示返回来的的响应
       有时显示：Responsebody is encoded, Click to decode.（需要点击一下解码）
        Headders:显示头信息
        textview:显示返回的具体信息（网页的源代码）
  3，如果用fiddler抓取https网页
    1，从fiddler中导出一个证书：菜单-tools-(Telerik Fiddler)Option
       打开https页，全部选中
       然后点击右侧按钮：atctions，点击展开的Export Root Certificate to Desktop
    2,安装到浏览器中
      选项，搜索证书，点击【查看证书】-选择证书颁发机构，在下方选择导入，选中导出的文件，后导入成功。
      点击确定。
    3，重启fiddler和浏览器。
    如果还出现问题参考博文：https://weibo.com/ttarticle/p/show?id=2309404103263770292716
  4，使用抓包分析获取腾讯视频评论数据
    目标站点: https://v.qq.com
    目标数据:某部电影或电视剧的评论数据
    要求:实现自动加载新评论
    接下来进入实战介绍。
    进入网站，打开电影，下面好多评论，打开网页源数据，查看评论内容，发现没有。
      说明网站做了隐藏，这时候就需要使用抓包工具。
      -点击加载评论，但网址没变。
    1）把网址放到火狐浏览器中
    2）fiddler中清掉clear，

import urllib.request
import re
cid="6375489932584768380"
for i in range(0,10):
    print("第"+str(i+1)+"页的评论数据")
    url="https://video.coral.qq.com/varticle/2461939412/comment/v2?caIIback=_var" # +str(cid)+
    data=urllib.request.urlopen(urI).read().decode("utf-8","ignore")
    pat1='"content":"(.*?)"'
    comment=re.compile(pat1,re.S).findall(data)
    for item in comment:
        print(eval('u"'+str(item)+'"'))
        print("------")
    pat2='"last":"(.*?)"'
    cid=re.compile(pat2,re.S).findall(data)[0]

end;