我正在使用 Scrapy 和 Scrapyd 来监控某些网站。输出文件是压缩的 jsonlines。在我向 scrapyd 提交作业计划后,我可以看到正在创建的输出文件,并且随着它的抓取而不断增长。
我的问题是我无法确定输出文件何时准备就绪,即蜘蛛是否已完成。一种方法是将输出文件重命名为类似“output.done”的名称,这样我的其他程序就可以列出这些文件并进行处理。
我目前的方法是检查文件的修改时间,如果它在五分钟内没有变化,那么我认为它已经完成了。然而,5分钟有时似乎不够,我真的希望我不需要延长到30分钟。
请您参考如下方法:
您可能希望使用 scrapy 信号,特别是 spider_opened 和 spider_closed 来了解蜘蛛何时使用该文件。更多信息可以在这里找到:http://doc.scrapy.org/en/latest/topics/signals.html
spider_opened 可以将文件重命名为 output.progress 并且 spider_closed 可以将其重命名为 output.done 到指示文件不再被蜘蛛使用。
如果输出文件是由 Item 管道编写的,则可以使用 open_spider 和 close_spider 回调,这与使用信号的逻辑相同。有关项目管道回调的更多信息:http://doc.scrapy.org/en/latest/topics/item-pipeline.html#writing-your-own-item-pipeline .
