我是从 java web 转到爬虫和数据的，以前，也要自己写前端，但是看到阿里的这些前端的各种各样的东西，有些实在找不到请求发出的文件，找不到具体哪个请求可能设置了 cookie 或 session，还有很多前端加密的东西 也不是很熟
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3339 days ago, the information mentioned may be changed or developed.
 |
hu0097Sep 19, 2017
1
登录有加密的，刚入门搞不定的。用 selenium 吧
|
 |
LukeChienSep 19, 2017
3
用 Chrome Headless
|
 |
fySep 19, 2017
5
需要 selenium/chrome headless
|
 |
shingleSep 19, 2017
6
完全模拟是几乎不可能的，光`ua`参数的加密就够你受的了
|
 |
102400Sep 19, 2017
7
搞定这个登录不会少于 1k 的，建议放弃或者直接找人买
|
 |
zzNuckerSep 19, 2017
8
1k 你想多了
起码 w 起 |
 |
regicideSep 19, 2017 via iPhone
10
去逆向网易有财的 app 包看他们怎么实现的
|
 |
neoblackcapSep 19, 2017
11
干爬支付宝的早死了，第频率的还可，高频率的，技术封了，触发风控系统，做爬虫很难解决的。
|
 |
binuxSep 19, 2017
12
用 requests 写个代理，然后把浏览器设置到你代理上，这算不算「完全用 requests urllib 写出来」？
|
 |
fihtSep 19, 2017
13
无法量化
成本过高 不如用印度云手工登录生成 cookie |
 |
wuhauSep 19, 2017
14
taobao 用 selenium，抓 cookie2，之前做淘宝客搞过这玩意。淘宝就不清楚了。
|
 |
obSep 19, 2017 via Android
15
现在稍微登录情景有点不一样，就开始手机验证，地址验证，各种验证。。
|
|
LukeChienSep 20, 2017
16
起台虚拟机跑 Chrome Headless，可以搞
|
 |
LuckyraySep 20, 2017 via iPhone
17
那个 ua 就卡死我了……
|
 |
FanWallSep 20, 2017 via Android
18
来说一下～楼上 1w 也想多了，别说纯算法了，就是临时的解决方案也不是这个价格。
加密代码混淆且经常更新的，且都是业界顶级。 而且以支付宝的开发能力，我觉得这种前端加密在不远的未来就几乎无解：破了一个混淆？那我重新混淆下;破了混淆机制？那我换个混淆机制换个算法… 通用解决方案也许是对底层十分精通的人才能做到的吧。。写个专用的解释器出来？猜的。。。 |
 |
daimaoSep 20, 2017
19
你 xx 出多少， 我阿里出两倍（
|
 |
jingniaoSep 20, 2017 via Android
20
感觉不光是技术问题，淘宝支付宝现在动不动就手机验证之类的，风控麻烦
|
 |
huanglongtiankonSep 20, 2017
21
想要纯技术突破还是别想了，最现实的解决方案是手工登录后拿到 cookies，然后再爬
|
 |
22
@huanglongtiankon webdriver 登陆，拿到 cookies，然后再爬的已经做了，还有内置浏览器拿 cookies 的方案
|
 |
loveCodingSep 20, 2017
24
淘宝的反爬虫不是开玩笑
|
 |
levonSep 20, 2017
25
如果是去爬淘宝的网页，即使登录实现了，也意义不大。反爬虫机制级别很高。
|
 |
jccg90Sep 20, 2017
26
成本很高，因为要登录，所以要找一堆账号来测试，失败了账号就被标记了，整天就各种验证。。。只能换账号
|
 |
m939594960Sep 20, 2017
27
@FanWall #18 别想得这么难，这么贵。实际上私下多少人流通这套技术你也不知道。。而且算法不可能变动的那么频繁的，一年变一回就不错了
|
 |
ioriwongSep 20, 2017 via iPhone
28
我做过虚拟机自动取得 Cookies 的方案
|
 |
googlebotSep 20, 2017 via iPad
29
跟马云的余额宝都，需要勇气，
|
 |
saricesSep 20, 2017
30
淘宝打开链接快一点都提示输入验证码，特别是各种电子票，旅游子类的。
|
 |
sola97Sep 20, 2017
31
不敢想
|
 |
a234712524Sep 29, 2017
32
@hu0097 请问你的联系方式多少，我有点事情想向你咨询
|
Select Language