Skip to main content
 首页 » 编程设计

python之蜘蛛在实现构造函数时崩溃

2025年05月04日12thcjp

我正在使用 Scrapy 创建一个非常简单的网站抓取工具。

如果我的 Spider 子类实现了一个构造函数并且我运行它,scrapy 会进入无限循环并且不会启动蜘蛛。

为什么会发生这种情况,我该如何解决?

class FinderSpiderTemp(Spider): 
 
    name = "temp" 
    allowed_domains = ["yellowpages.com.au"] 
    start_urls = [] 
 
    # if I comment out this function then scrapy console executes happily 
    def __init__(self, category=None, *args, **kwargs): 
        super(FinderSpiderTemp, self).__init__(*args, **kwargs) 
        log.start("log.txt") 
 
        self.start_urls = ["http://www.yellowpages.com.au/search/listings?clue=abc&locationClue=8000&selectedViewMode=list&eventType=sort&sortBy=distance"] ) 
 
 
    def parse(self, response): 
       return parse_business_list_page(response) 

我在 scrapy 控制台中输入 scrapy crawl temp,它没有任何输出也没有响应。日志输出错误:

2015-05-19 15:28:02+1000 [-] ERROR: 2015-05-19 15:28:02+1000 [-] ERROR:
2015-05-19 15:28:02+1000 [-] ERROR: 2015-05-19 15:28:02+1000 [-] ERROR:
2015-05-19 15:28:02+1000 [-] ERROR: 2015-05-19 15:28:02+1000 [-] ERROR:
2015-05-19 15:28:02+1000 [-] ERROR: 2015-05-19 15:28:02+1000 [-] ERROR:
..... continues forever

请您参考如下方法:

关键问题是 log.start() 调用,Scrapy 开始自己记录(如果 LOG_ENABLED 是 True 这是由默认),除非您start the Crawler process manually,否则无需手动启动它也。相反,只需设置 LOG_FILE在 settings.py 中设置,或通过命令行设置:

scrapy crawl myspider -s LOG_FILE=scrapy.log