豆瓣这个页面的反爬用了什么黑科技

This topic created in 2054 days ago, the information mentioned may be changed or developed.

目前的情况：

1 、在终端里直接 curl 不加任何参数是可以获取到的

curl https://www.douban.com/doubanapp/h5/book/2567698/desc

2 、Python requests 库获取不到

3 、PHP curl 带上从 chrome 复制的全套 header 也获取不到。

疑问的点

1 、终端里不带参数为什么能请求到

2 、用代码的方式不管怎样都请求不到，即使带了 chrome 能正常访问的全套 header

import requests
import os


os.system('curl https://www.douban.com/doubanapp/h5/book/2567698/desc')

url = 'https://www.douban.com/doubanapp/h5/book/2567698/desc'
strhtml = requests.get(url)
print(strhtml.text)

10 replies

manzhiyong

Dec 22, 2020

不能老实的用 selenium 吗

fiveelementgid

Dec 22, 2020 via Android

首先，终端不带参数还是还是有默认 Header 头的
你用 curl -v 查查看

maocat

Dec 22, 2020

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}

requests.get(url,headers=headers) <Response [200]>
requests.get(url) # <Response [418]>

songjiaxin2008

Dec 22, 2020

curl 默认就是 curl 的 ua 哦

songjiaxin2008

Dec 22, 2020

@maocat #3 正解，requests 包也有自己的默认 UA

JetMac

Dec 22, 2020

418 I'm a teapot

wjfz

Dec 22, 2020

@maocat 尴尬，用 PHP 的 curl 试了下不行就没用 Python 试着加 header 了。看来还是 PHP 的 curl 库不对劲。

HFX3389

Dec 22, 2020

requests 包默认的 UA 是：python-requests/{package version}

wjfz

Dec 22, 2020

@fiveelementgid
@maocat
@songjiaxin2008
@HFX3389

请教一下，那我用 PHP 带了全套 header，包含 ua 和 cookie，依然是请求不到的，这有可能是什么原因

wjfz

Dec 22, 2020

原因找到了，太愚蠢了，PHP 的 curl 是单独设置 ua 的，没在 header 数组里。