我正在使用 Scrapy 库在 Python 中构建一些网络爬虫。目标是从几家商店获取一些数据。
爬取时，有两种站点:
- 目录网站，显示产品并链接到..
- 产品网站，可以查看商店不同产品的网站
现在，作为用户，当我从目录站点打开产品站点时，会显示一个“面包屑式”菜单 - 这会显示我所在的位置。例如，如果商店是电子产品商店，产品是 iPhone，则面包屑导航可以显示:
“电子产品 -> 电话 -> iPhone -> iPhone 5S 64GB”
但是，这只有在我遵循上述直接路径时才会发生。我的问题是，当我通过 Scrapy 爬取这些网站时，面包屑不会显示 - 即使使用爬虫我遵循上面的路径(即我从 Electronics 网站开始，然后继续深入，直到我到达产品地点)。我什至修改了引荐来源网址设置，但没有任何帮助。
有没有其他方法，可以让这些面包屑菜单出现？
非常感谢您提供一些意见。 :)
请您参考如下方法:
很可能该网站将面包屑导航作为您忽略的 cookie。您需要将 session cookie 从一个请求传递到后续请求。 This question用 scrapy 演示 cookie 的使用。
