大家好，我就是上次发虫 https://www.v2ex.com/t/245894 的那个，现在想写个新的爬虫，但是遇到了一些问题，特来求助。
原因是这样的，这次想看的漫画在上次那个网站没有，于是想再写一个。漫画的图片是通过 JavaScript 渲染的，因此没法直接抓到。
Google 了一圈，文档很多都很老……
如何解决呢？
This topic created in 3959 days ago, the information mentioned may be changed or developed.
26 replies • 2016-01-16 15:23:50 +08:00
 |
plqwsJan 8, 2016
1
PhantomJS
|
 |
feather12315Jan 8, 2016 via Android
2
@plqws 问个问题： phantomJS 能否与异步库 asynico 一起用呢
|
|
feather12315Jan 8, 2016 via Android
3
提供另一个思路，分析 Ajax 接口，直接抓取，速度很快
|
 |
longaiwpJan 8, 2016
4
分析到底是怎么渲染的不是更好么（话说我似乎在琉璃见过楼主）
|
 |
windfarerJan 8, 2016
5
看浏览器的 network log ，模拟 ajax 请求
|
 |
6
@longaiwp 不懂 JS ……
都是司机，握手 |
 |
bdbaiJan 8, 2016 via iPhone
8
建议啃啃 js + 抓包，那些模拟浏览器的效率太差。
|
|
9
@bdbai 高三党表示没有太多时间啃 JS …
|
 |
FrankFang128Jan 9, 2016 via Android
11
用啥翻腾，看请求
|
 |
aprikyblueJan 9, 2016
12
高二狗路过。。先 mark
lz 高三这么晚还不睡 |
|
13
@aprikyblue 周末怕啥
|
|
aprikyblueJan 9, 2016
14
@BXIA ...周六不上？
|
|
15
@aprikyblue 不上😄
|
 |
icedxJan 9, 2016
16
如果想看漫画呢 https://gist.github.com/anonymous/c95fd30a078b74e83e32
如果想要解法呢 请回复小埋大法好 |
|
17
|
 |
aWangamiJan 9, 2016
18
找到一个接口， LZ 说的是解析这个 JS 吗？
http://www.dm5.com/m178597/chapterfun.ashx?cid=178597&page=1&key=&language=1>k=6 eval(function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1;};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p;}('f 8(){1 4=3;1 a=\'9\';1 7="g://h.k-j-6-6.c.e/b/p/3";1 2=["/o.5","/q.5"];l(1 i=0;i<2.m;i++){2[i]=7+2[i]+\'?4=3&a=9\'}n 2}1 d;d=8();',27,27,'|var|pvalue|178597|cid|jpg|113|pix|dm5imagefun|738c55526d53b127b60fb8550a178db9|key|17|cdndm5||com|function|http|manhua1023||147|61|for|length|return|1_9267|16594|2_5542'.split('|'),0,{})) ["http://manhua1023.61-147-113-113.cdndm5.com/17/16594/178597/1_9267.jpg?cid=178597&key=738c55526d53b127b60fb8550a178db9", "http://manhua1023.61-147-113-113.cdndm5.com/17/16594/178597/2_5542.jpg?cid=178597&key=738c55526d53b127b60fb8550a178db9"] |
|
aWangamiJan 9, 2016
19
|
|
icedxJan 9, 2016
20
|
 |
shylingJan 9, 2016 via iPad
21
@aprikyblue 马克是谁
|
|
aprikyblueJan 9, 2016
22
@shyling
....表卖萌 |
 |
chrisbarryJan 9, 2016
23
selenium+PhantomJS 挺好用，就是有点点慢。
from selenium import webdriver driver = webdriver.PhantomJS(executable_path='.......') |
|
shylingJan 9, 2016
24
@aprikyblue 请告诉我
|
 |
wangzyJan 9, 2016
25
以前写过一个爬虫，也是爬漫画网站，也是 js 渲染，我用的 java ，然后用的 java 自带的 js 解析器，做解析后分析然后找出链接下载， python 有没有类似的 js 解析器不清楚，如果有的话应该没问题或者看能否调用 nodejs 这类东东
|
|
26
@icedx 有一点小 bug ，不过感谢思路
|
Select Language