前面的部分都挺正常，最后皮一下很开心？
This topic created in 3097 days ago, the information mentioned may be changed or developed.
 |
opengpsMay 13, 2018 via Android
1
不欢迎预期之外的小搜索引擎？
|
 |
lukefanMay 13, 2018
3
淘宝、百度、facebook 等纷纷表示确实很开心
|
 |
cairnechenMay 13, 2018
4
不知道是不是我的理解偏差，robots 是不是就和君子协定差不多啊
|
 |
maemualMay 13, 2018
5
@cairnechen #4 是
|
 |
pkookp8May 13, 2018 via Android
6
是我理解错了么，百度家的也是这样
|
|
cairnechenMay 13, 2018
7
@maemual 那为什么淘宝的 robots 对百度会有约束力呢？
|
 |
whileFalseMay 13, 2018
8
皮一下你不开心？
|
|
maemualMay 13, 2018
9
@cairnechen #7 淘宝不是通过 robots.txt 去封的百度啊。。。
|
 |
queshengyaoMay 13, 2018 via iPhone
10
@maemual 请问一下淘宝是如何禁止百度爬虫的？我一直以为是百度遵守了 robots 协议
|
 |
oonnnooMay 13, 2018
11
GitHub，除了 EtaoSpider，国内其他 bot 都被包含在*中，更皮
|
|
maemualMay 13, 2018
12
@queshengyao #10 封一把百度爬虫的 UA 就好了啊。
|
|
queshengyaoMay 14, 2018 via iPhone
13
@maemual 我用 postman 试了一下，用百度爬虫的 ua 是可以拿到淘宝商品页内容的呀
|
|
maemualMay 14, 2018 via iPhone
14
@queshengyao UA 只是举个例子，还有很多手段啊，比如封百度爬虫的 IP 段之类的
|
|
queshengyaoMay 14, 2018 via iPhone
15
@maemual 嗯这我知道，要封爬虫有很多方式，但我是看到你之前回复说淘宝不是通过 robots 来防止百度爬虫的，所以想知道是百度没遵守 robots 协议，然后淘宝另外用了手段封禁吗？
|
|
maemualMay 14, 2018
16
@queshengyao #15 robots 只是个声明，不是个强制手段，以百度的尿性，能遵循这种君子协定？
|
 |
MinonHeartMay 15, 2018
17
github 也这么做。爬虫多了，知乎的土豆服务器可能扛不住
|
Select Language