需求:用 Charles 抓了一个 https 的 post 结果 和 websocket wss 的结果。
内容每 10 秒更新一次,而且用 python 模拟请求有点复杂,所以想用 charles 抓包以后,想办法把结果提出来给 python 程序进行处理。(或者直接把 Chrome 开发者工具中抓到的内容实时保存出来。)
大家有没有这样的保存数据的办法,请分享一下,谢谢!
Charles :

Chrome:

需求:用 Charles 抓了一个 https 的 post 结果 和 websocket wss 的结果。
内容每 10 秒更新一次,而且用 python 模拟请求有点复杂,所以想用 charles 抓包以后,想办法把结果提出来给 python 程序进行处理。(或者直接把 Chrome 开发者工具中抓到的内容实时保存出来。)
大家有没有这样的保存数据的办法,请分享一下,谢谢!
Charles :

Chrome:

|
1
fiddler 可以写 js 脚本
|
|
2
burpsuite 可以写 python 脚本
|
|
3
mitmproxy
|
|
5
@wzw 要在服务器上运行的话,可以尝试阿里的 anyproxy,顺便安利我修改的 anyproxy
https://github.com/consatan/anyproxy 相对于原版增加的功能见 https://github.com/alibaba/anyproxy/pull/137 |
|
6
|
|
Trim21May 4, 2017
8
前两天刚遇到这个问题。。。最后是用的 anyproxy。。
|
|
hcymk2May 4, 2017
10
scapy
|
|
jimmy66May 4, 2017 via iPhone
11
Mark
|
|
12
|
|
fuxkcsdnMay 4, 2017
13
|
|
14
@fuxkcsdn 自己写一个 rule,然后吧 responseDetail.response 保存到数据库中。 思路对不对。(想着 anyproxy 存了一份数据起来。)
|
|
15
@wzw 对的,在 rule 里用 nodejs (懂点 js 应该都能驾驭) 处理所有数据
也可以把数据 post 到你自定义的 api 里(这样就不限定语言了) BTW,我目前是在 android 机器里安装 anyproxy,监听到特定 app 的特定请求后,在 nodejs 里清洗数据,json 化后添加到远程 redis 队列,后台处理队列的有 python 也有 php |
|
16
@fuxkcsdn 谢谢。我先把所有请求保存成文件就好,先测试。功能能实现,其他都好办。js 不熟悉,还是能懂一点点的。现在开工。。。
anyproxy 的确好,二次开发好。 比 charles 灵活好多了。 |
|
17
@fuxkcsdn 研究了一下,anyproxy 的确保存了一份文件,单代理关闭的时候自动清理 cache file。
所以我懒得找,用了简单暴力的方法 ``` find / -name '*' -type f -mmin -1 | xargs grep "所包含的内容" ``` 定位到: .anyproxy/cache/ 东西都在里面 再次感谢你 |