Skip to main content
 首页 » 编程设计

python之Scrapy之抓取多个项目

2025年05月04日9Free-Thinker

对 scrapy 还很陌生,所以请多多包涵。

首先,这是我的代码:

from scrapy.spider     import BaseSpider 
from scrapy.selector     import HtmlXPathSelector 
from usdirectory.items    import UsdirectoryItem 
from scrapy.http    import Request 
 
 
class MySpider(BaseSpider): 
    name         = "usdirectory" 
    allowed_domains    = ["domain.com"] 
    start_urls    = ["url_removed_sorry"] 
 
    def parse(self, response): 
        hxs     = HtmlXPathSelector(response) 
        titles     = hxs.select('//*[@id="holder_result2"]/a[1]/span/span[1]/text()').extract() 
        for title in titles: 
                item = UsdirectoryItem() 
                item["title"] = title 
                item 
 
 
        yield item 

这行得通......但它只抓取第一个项目。

我注意到在我试图抓取的项目中,每一行的 Xpath 都会发生变化。例如,第一行是您在上面看到的 xpath:

//*[@id="holder_result2"]/a[1]/span/span[1]/text() 

然后它递增 2,一直到 29。所以第二个结果:

//*[@id="holder_result2"]/a[3]/span/span[1]/text() 

最后结果:

//*[@id="holder_result2"]/a[29]/span/span[1]/text() 

所以我的问题是如何让脚本获取所有这些,我不在乎是否必须为每个项目复制和粘贴代码。所有其他页面完全相同。我只是不确定该怎么做。

非常感谢。

编辑:

import scrapy 
from scrapy.item import Item, Field 
 
class UsdirectoryItem(scrapy.Item): 
    title = scrapy.Field() 

请您参考如下方法:

鉴于模式与您描述的完全一样,您可以使用 XPath modulo operator mod 在 a 的位置索引上获取所有目标 a 元素:

//*[@id="holder_result2"]/a[position() mod 2 = 1]/span/span[1]/text() 

要进行快速演示,请考虑以下输入 XML:

<div> 
 <a>1</a> 
 <a>2</a> 
 <a>3</a> 
 <a>4</a> 
 <a>5</a> 
</div> 

给定此 XPath /div/a[position() mod 2 = 1],将返回以下元素:

<a>1</a> 
<a>3</a> 
<a>5</a> 

请参阅 xpathtester.com 中的现场演示 here