Skip to main content
 首页 » 编程设计

python之scrapy 蜘蛛不返回任何结果

2025年05月04日14sharpest

这是我第一次尝试创建蜘蛛,如果我做得不好,请原谅我。 这是我试图从中提取数据的网站的链接。 http://www.4icu.org/in/ .我想要页面上显示的完整大学列表。但是当我运行以下蜘蛛时,我返回一个空的 json 文件。 我的项目.py

    import scrapy 
    class CollegesItem(scrapy.Item): 
    # define the fields for your item here like: 
        link = scrapy.Field()  

这是蜘蛛 学院.py

    import scrapy 
    from scrapy.spider import Spider 
    from scrapy.http import Request 
 
    class CollegesItem(scrapy.Item): 
    # define the fields for your item here like: 
        link = scrapy.Field() 
 
    class CollegesSpider(Spider): 
        name = 'colleges' 
        allowed_domains = ["4icu.org"] 
        start_urls = ('http://www.4icu.org/in/',) 
 
        def parse(self, response): 
            return Request( 
                url = "http://www.4icu.org/in/", 
                callback = self.parse_fixtures 
            ) 
        def parse_fixtures(self,response): 
            sel = response.selector 
            for div in sel.css("col span_2_of_2>div>tbody>tr"): 
                item = Fixture() 
                item['university.name'] = tr.xpath('td[@class="i"]/span  /a/text()').extract() 
                yield item 

请您参考如下方法:

正如问题评论中所述,您的代码存在一些问题。

首先,您不需要两个方法 -- 因为在 parse 方法中,您调用的 URL 与在 start_urls 中调用的相同。

要从站点获取一些信息,请尝试使用以下代码:

def parse(self, response): 
    for tr in response.xpath('//div[@class="section group"][5]/div[@class="col span_2_of_2"][1]/table//tr'): 
        if tr.xpath(".//td[@class='i']"): 
            name = tr.xpath('./td[1]/a/text()').extract()[0] 
            location = tr.xpath('./td[2]//text()').extract()[0] 
            print name, location 

并根据您的需要调整它以填充您的项目(或项目)。

如您所见,您的浏览器在 table 中显示了一个额外的 tbody,当您使用 Scrapy 进行抓取时,它并不存在。这意味着您经常需要判断您在浏览器中看到的内容。