Skip to main content
 首页 » 编程设计

python之为什么在 scrapyd 中禁用了 HttpCacheMiddleware

2025年05月04日10thcjp

为什么 HttpCachedMiddleware 需要 scrapy.cfg,我该如何解决这个问题?

我使用scrapyd-deploy构建egg,并将项目部署到scrapyd。

当作业运行时,我从日志输出中看到 HttpCacheMiddleware 被禁用,因为找不到 scrapy.cfg。

2014-06-08 18:55:51-0700 [scrapy] WARNING: Disabled HttpCacheMiddleware: Unable to find scrapy.cfg file to infer project data dir

我查看了egg文件,确实没有scrapy.cfg,因为egg文件只包含项目目录下的文件。我可能是错的,但我认为 egg 构建正确。

foo/ 
 |- project/ 
 |      |- __init__.py 
 |      |- settings.py 
 |      |- spiders/ 
 |            |- ... 
 |- scrapy.cfg 

深入研究 code此外,我认为三个 if 条件之一在 MiddlewareManager 中以某种方式失败。

        try: 
            mwcls = load_object(clspath) 
            if crawler and hasattr(mwcls, 'from_crawler'): 
                mw = mwcls.from_crawler(crawler) 
            elif hasattr(mwcls, 'from_settings'): 
                mw = mwcls.from_settings(settings) 
            else: 
                mw = mwcls() 
            middlewares.append(mw) 
        except NotConfigured, e: 
            if e.args: 
                clsname = clspath.split('.')[-1] 
                log.msg(format="Disabled %(clsname)s: %(eargs)s", 
                        level=log.WARNING, clsname=clsname, eargs=e.args[0]) 

请您参考如下方法:

在你的工作目录下放置一个空的scrapy.cfg。

作为source code显示,project_data_dir 将尝试找到最接近的 scrapy.cfg 并使用它来推断项目数据目录。