我在 scrapy 中使用 FormRequest.from_response 模块来抓取一些总线信息。每当我运行我的蜘蛛时,它都会通过提供以下信息来忽略发布请求:
DEBUG: Ignoring link (url length > 2083):
scrapy docs中提到的细节如下:
URLLENGTH_LIMIT
Default: 2083
Scope: contrib.spidermiddleware.urllength
谁能告诉我如何更改此设置?
请您参考如下方法:
