大家用 python 都做过什么有趣的爬虫吗？分享分享呗！
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4074 days ago, the information mentioned may be changed or developed.
 |
bdbaiSep 10, 2015 via iPhone
2
爱鼠绘漫画 PHP 和 C#（跑
|
 |
3
然而好多都是用来爬妹子图的
 |
1 |
uuspiderSep 10, 2015
4
这是从知乎上看来的题目吧，知乎的答案还是比较丰富的。
|
 |
5
@anying 我就是
|
 |
6
爬过学校的课表，排课用
|
|
7
@weifengzi2009 有源码看看不
|
 |
giskardSep 10, 2015
8
豆瓣租房小组，爬最新帖子，不算有趣吧，但还有点用。
|
 |
masolSep 10, 2015
9
爬过一个网站的所有图片。。
|
 |
qw7692336Sep 10, 2015 via Android
10
|
 |
shoumuSep 10, 2015
11
这里的很多人都喜欢爬妹子图
|
 |
xunyuSep 10, 2015 via Android
12
爬猎聘， linkedin
|
|
weifengzi2009Sep 11, 2015
13
|
 |
coldearSep 11, 2015
14
爬过网络连载小说转成 txt 在 kindle 看。。
爬过一个盗版技术书籍的网站。。 |
 |
dai269619118Sep 11, 2015
15
http://jinri.info 都是爬来的信息
|
 |
leyleSep 11, 2015 via Android
16
喜欢看 1024 的技术区，但是没法按发帖时间排序，写了个抓取帖子回来再按发帖时间排。
|
 |
DowdingSep 11, 2015
17
豆瓣爬日剧动画啥的，然后按评分排序选择性补番
|
 |
pawSep 11, 2015
18
爬漫画，按卷爬好打包成 zip 放在本地 ComicsViewer 看。。。。。不喜欢在 web 上看漫画
|
 |
nicksiteSep 11, 2015
19
礼物说的 专题和商品 小代码搞定。 https://github.com/henryluki/simpleparse/blob/master/liwushuo.py
|
 |
20
爬 91porn 视频 :)
|
 |
leavicSep 11, 2015
21
爬 javbus 上的 av 封面
|
 |
codeforlifeSep 11, 2015
22
我爬的一个 xx 论坛的某个专区，每次种子更新了自动下载。。
|
 |
sinosureSep 11, 2015
23
把感兴趣的公众号的当天更新爬到一个 feed 里面算么
|
 |
lxySep 11, 2015
26
爬某网站数据，做数据分析后发现一些不可告人的秘密，公布出来后成功引发一场论战……
还有就是一些网站不慎泄露的用户数据，密码、邮箱之类的。 |
 |
imn1Sep 11, 2015
27
爬北都集团
|
 |
ohmycodeapeSep 11, 2015
28
PHP 简单写了个最简易的 爬美女图。。。。
|
 |
fish267Sep 11, 2015
29
|
 |
AresnSep 11, 2015
31
第一次写爬虫，把一个竞聘的所有文章（ 10 万+）全部爬来了，不知道这数据都是几手的了。。
|
 |
bullettrain1433Sep 11, 2015
32
@codeforlife 求共享
|
 |
truehypSep 11, 2015
34
爬过学校图书馆自己借阅过的书。噢，主要是为了可以无限续借书，顺带爬了书单。
|
 |
zhouquanbestSep 11, 2015
35
1024 的算么
|
 |
fakirSep 11, 2015
36
把拉钩,内推,IT 桔子上爬了二十万职位信息和五万多家公司信息, 结果发现拉钩数据存在造假呀
|
|
sinosureSep 11, 2015
38
|
 |
rwechoSep 11, 2015
41
@zhouquanbest 求分享。
|
 |
loryyangSep 11, 2015
44
挂个 VPN 爬妹子图。。。后来觉得太蠢了，废弃了
|
 |
ma7xSep 11, 2015
45
试过爬一个填单类型的网站 想做的功能是 填写表单 后来没弄出来 改用 chrome 插件了
|
 |
xmmakSep 11, 2015
46
爬了 Google Play
|
|
codeforlifeSep 11, 2015
47
@bullettrain1433 https://github.com/winniesi/getsis 昨晚临下班写的。。很乱凑活着看
|
 |
jseanjSep 11, 2015
48
爬 v2 所有用户的 blog 地址
|
 |
laoyuanSep 11, 2015
51
山东大学自习室空堂表，包括我常去的千佛山校区 9 号楼、兴隆山校区讲学堂和教学楼
http://d9book.com/sdu/ |
 |
androidwdmzzcSep 11, 2015
52
@Reed 哈哈! 我觉得这个爬虫，只会让 LZ 更想剁手
|
 |
yield9tkSep 11, 2015
54
抓取电影天堂的电影下载链接
|
 |
LancerCometSep 11, 2015
55
不会 Python ，不过 Node 入门时用 Node 写了个爬华盟、极影、动漫花园和漫游资源站的爬虫，自己下资源用，页面用 Angular + Material-Angular 搭的，请脑补感受一下连指令都不会写、一股脑控制器的入门代码，一直想改掉，不过刚看一眼就没动力了…
|
|
bullettrain1433Sep 11, 2015
57
@codeforlife 感谢
|
 |
pmispigSep 12, 2015
58
爬了 2 新浪美女图 3W 张，豆瓣美腿大赛 2000 张。
给豆瓣友邻点赞，小伙伴一觉起来发现多了几千个赞，吓哭了~ |
 |
JensenChenSep 12, 2015
59
@laoyuan 你这个是抓全校全周的课表，然后对教室进行的分析？？
|
 |
61
爬了 1024 所有的账户,然并卵还是没扫到能登录的
|
|
laoyuanSep 12, 2015
63
|
 |
WhiteSaberSep 12, 2015
64
@codeforlife 相当有趣，之前想做一个 js 插件来着，他排版和搜索好差
|
 |
bigzhuSep 12, 2015
65
我做了自已用的 http://follow.center/ 算不算？
整了 github instagram twitter tumblr 的东西进来，准确的说应该是调用 api ，不算爬虫 不过如果想整合国内的微博、知乎这些封闭型的，估计只能上爬虫了 |
 |
FelldeadbirdSep 12, 2015 via iPhone
66
我把 9 个目标网站所有连接都爬了，然后在抓里面的价格…到只爬了 2KW 条记录时，我放弃了。这样爬没效率。
|
 |
bbkingSep 12, 2015
67
爬 58
|
 |
alexapolloSep 12, 2015
68
前两年写的少儿不宜爬虫。。 https://github.com/geekan/insane_crawler
|
 |
luagoSep 12, 2015
69
我想知道上面爬图的朋友，图片后来怎么处理了 :)
|
 |
ljbha007Sep 12, 2015
70
爬学校同学的证件照片、学号、班级、课表 爬了 2000 多个
但是胆子比较小 爬完就删了（主要是没有爬到好看的妹子） |
 |
davidlauSep 12, 2015
71
|
 |
sohoerSep 12, 2015
72
|
 |
csx163Sep 12, 2015
73
爬种子，发行并没什么*用
|
|
csx163Sep 12, 2015
74
爬种子，发现并没什么*用
|
 |
ultimate010Sep 12, 2015
75
实习时候用 20+台屌丝云服务器，分布式爬过上亿条淘宝数据，如 http://t.ultimate010.tk:18080/taobao.php 带宽够牛逼，曾经测试跑满 1G 带宽，爽
|
 |
vivalonSep 12, 2015
76
撸过下厨房的菜单
|
 |
giuemSep 12, 2015 via Android
77
@ultimate010 这数据占多少存储空间
|
 |
erik0Sep 13, 2015
83
太可怕了，这么多爬虫，起了一身鸡皮疙瘩~~
|
|
ultimate010Sep 13, 2015 via Android
86
@giuem 压缩了很少,倒入 mysql 后好像几十 G, 可接受.
|
 |
HavenShenSep 14, 2015
87
爬过携程旅游网。
|
 |
v2nuSep 14, 2015
88
@dai269619118 看起来不错呀
|
|
dai269619118Sep 14, 2015
89
@v2nu 嘿嘿
|
 |
onlyxuyangSep 15, 2015 via Android
90
爬 beautyleg ……爬绅士漫画……
|
 |
leetao102Sep 30, 2015
92
@codeforlife 不错。。。
|
 |
ns2250225Oct 15, 2015
94
爬过多玩的搞笑 gif 图库
|
 |
yongjiu236zDec 11, 2016
95
|
|
yongjiu236zDec 15, 2016
96
|
 |
ntuwangSep 24, 2018
97
mark
|
Select Language