我正在抓取一个页面并从 hrefs 获取链接列表
['www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0347','www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0346', 'www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=AXS0229' ....]
是否可以从同一个蜘蛛抓取这些链接?这就像爬虫已经在抓取链接时抓取另一个链接一样。我不需要代码,只需要一些关于如何完成的指南。
请您参考如下方法:
使用 CrawlSpider并为链接列表定义适当的规则?
