我有 3500 个网站的顶级域名，现在需要获取每个 website 内的全部子 url，并爬取子 url 内的 html 文字信息。
举例来说，以 www.giftofwings.com 为例子： 得到一堆类似于 http://www.giftofwings.com/cgi-bin/SoftCart.exe/cam.html?L+mystore1+bkcm8438ffb2f5b2+1507421651 http://giftofwings.com/specials.html 的 url，注意这里不要.js 和.css 等，只要页面。 拿到这个 list 后在做一个简单的 html 爬取，最后提交的是这些 html 的源码，只要文字信息，不爬任何多媒体，所以应该比较快。
详讯麻花腾：腰腰霸腰霸叁叁玲叁伍 null。
 |
hourannApr 22, 2018 via iPhone
1
没法保证爬干净吧？
|
 |
zuoakangApr 22, 2018
2
上价格呗
|
 |
LeiggApr 22, 2018 via iPhone
4
腰霸好评
|
 |
gdtvApr 22, 2018
5
假如这 3 千多个网站没有任何防爬虫措施，并且这 3 千多个网站服务器性能扛得住爬虫，那么的确挺简单的。
|
 |
sunsh2017Apr 22, 2018
6
报价格。
|
 |
7
我的需求只有一个，news.qq.com ，只爬文字，不需要多媒体，应该挺简单的，所以比较快。急
|
 |
8
急 预算 200 块 需求很简单 最多几小时的事情。
楼主大概就这意思 |
|
9
有个不是很紧急的少量页面的项目需要外包，有人可以接私活吗？项目需求不算很紧，工作量很小。
inksong • 53 天前 我有个紧急的一次性 mapreduce 项目需要外包，有人可以接私活吗？项目需求很紧，工作量很小。 inksong • 80 天前 我有个紧急的一次性爬虫项目需要外包，有人可以接私活吗？项目需求很紧，工作量很小。 inksong • 88 天前 戏精？已 block |
 |
wenzhoouApr 22, 2018 via Android
11
这是在测试自己的自动灌水机啊。
|
 |
stzzApr 22, 2018 via Android
12
好奇这人干嘛的…
|
 |
jingruiApr 22, 2018 via iPhone
13
15w，3 天，还有惊喜，愿意私信
|
 |
summerwarApr 22, 2018
14
标题中，倒数第二句和倒数第一句内容冲突
|
 |
huluhuluApr 22, 2018 via iPhone
17
我正好有全套代码……只需要输入域名即可，10 万，2 天
|
 |
imkerberosApr 22, 2018
18
我正好有全套写好的代码. 连 SERVER + Browser 界面. 10 万, 同楼上 2 天.
|
 |
DeWhiteApr 22, 2018
19
楼上这个价格合理
|
 |
PythonAnswerApr 23, 2018 via iPhone
21
看来要价不能超过 200
|
 |
winglight2016Apr 23, 2018
22
@Leigg 很正常了，之前也是碰到一单，同样是爬网站，报价 500，我说我这里是现成的代码，还带个 GUI 管理界面，2k，然后就没消息了
|
1
Select Language