Skip to main content
 首页 » 编程设计

python之Scrapy 响应与请求和响应 url 是不同的语言

2025年05月04日14cloudgamer

我正在尝试从此页面抓取搜索结果

http://eur-lex.europa.eu/search.html?qid=1437402891621&DB_TYPE_OF_ACT=advGeneral&CASE_LAW_SUMMARY=false&DTS_DOM=EU_LAW&typeOfActStatus=ADV_GENERAL&type=advanced&lang=fr&SUBDOM_INIT=EU_CASE_LAW&DTS_SUBDOM=EU_CASE_LAW

根据 url 的语言是法语,这就是我在 scrapy shell 中看到的,在 'crawled (200) ' 之后

如果我尝试 response.url,我也会得到一个带有 lang=fr 的 url。

在浏览器中查看页面会显示法语结果。

但是,响应的正文是英文。

我已经尝试在我的 scrapy settings.py 文件中禁用 cookie。 我还将 DEFAULT_REQUEST HEADERS 设置为“Accept-Language”:“fr”。

有什么想法吗?

请您参考如下方法:

在网页的右上角有一个下拉框来选择网站的语言。选择 french 将向 url 添加另一个参数:&locale=fr。

因此 - 将该参数添加到您的 start_url。