 |
1
Celery or RQ is better for such scenario.
|
 |
phusluSep 14, 2012
3
gevent.pool.spawn + httplib2
|
 |
BrutalSep 14, 2012
4
queue 然后 q.get()
|
 |
reusSep 14, 2012
5
requests + multiprocessing.Pool
|
 |
btwoSep 14, 2012
7
有测试结果了也请贴出来，一起学习下！
|
 |
muxiSep 14, 2012
8
|
|
muxiSep 14, 2012
9
|
|
muxiSep 14, 2012
10
|
 |
sinrealSep 14, 2012
13
额，豆瓣好像限制单个ip访问频率的。楼主可以考虑多个ip慢慢去抓。
|
 |
14kscnSep 14, 2012
15
我比较好奇的是 v2ex 可以贴 code 了？
|
 |
eric_qSep 14, 2012
16
如果爬得过快消耗太多资源，可能会被手动封禁
|
 |
clowwindySep 14, 2012
18
爬虫的瓶颈不在抓取，在被爬的网站上……一般要爬单个网站的大量数据，要么直接找对方要，要么动用大量 IP……
抓取的性能不是问题，如果爬完全不同的网站，之前用 tornado 那个 async_http_client 写了一个爬虫，开 5 个进程一边爬一边往 HBase 里插，可以达到 2000 QPS。 |
 |
fanzeyiSep 14, 2012
19
如果楼主可以生成出爬的页面的链接到一个数组里，可以直接用 grequests<https://crate.io/packages/grequests/> 非常好用的异步 URL Fetching 库.
后端是 Gevent ..可以写上 callback 参数 =v= |
 |
chendahui007Nov 18, 2012
20
@cabinw 可以看看你写的爬豆瓣电影那个么?
|
 |
22
@chendahui007 我已经放弃爬了，会被封IP的
|
|
chendahui007Nov 18, 2012
24
@cabinw 那可以观摩你之前写的代码么?俺是新手,很新的手,没啥思路 ...`从IMDB id tt0000000 到 tt9999999遍历访问一遍豆瓣的电影信息 ` 这 它们怎么关联的 ,求思路
|
|
25
@chendahui007 gtalk：cabinw#gmail.com
|
 |
lj0014Nov 18, 2012
26
楼主爬了多少豆瓣电影了，据说有４０Ｗ，我现在就爬了７Ｗ~
|
 |
xi4nyuNov 19, 2012
29
多核机子上面应该对应核数启，才能达到最大性能.
|
 |
BigZNov 19, 2012
31
异步？还快速？太黑了
丢我们采集界的脸 采集界有个原则，单线程同步采集，必要的时候还要sleep几秒 |
Select Language