JAVA 爬虫 WebCollector 2.x 入门教程——基本概念
摘要：
WebCollector 是一个无须配置、便于二次开发的 JAVA 爬虫框架（内核），它提供精简的的 API ，只需少量代码即可实现一个功能强大的爬虫。 WebCollector-Hadoop 是 WebCollector 的 Hadoop 版本，支持分布式爬取。
This topic created in 3978 days ago, the information mentioned may be changed or developed.
10 replies • 2015-12-28 18:52:39 +08:00
 |
ca1123Dec 25, 2015
1
你写的？
|
 |
SparkManDec 25, 2015
3
爬虫的关键（或者难点）是如何不被封 IP ，至于怎么抓取页面 httpclient 跟其他组件都差不多
|
 |
lx19930805Dec 25, 2015
4
@SparkMan 恩恩.然后呢?如何不被封 IP?
被封 IP 是因为多次大量的访问某个域名的网址吧,刚接触是这么理解的 |
 |
geekboyDec 25, 2015
5
最近研究的是爬虫的增量更新问题~用的 webmagic 框架！
|
 |
6
@SparkMan 爬虫的关键，是爬取允许爬取的数据，有效利用。比如搜索引擎还是要遵守 robots.txt 的。反爬就是网站不想让你爬，用随机高匿代理之类的解决反爬技术很成熟，但是有点抢劫的性质。
|
 |
ooTwTooDec 28, 2015
9
头像有点像汪峰。
|
Select Language