我正在编写一个 Flask 应用程序,它运行 Scrapy 蜘蛛来抓取给定的网站。 Flask 应用程序提供了一个 UI,该 UI 接受要废弃的 URL 和要废弃的 ITEM(比如说 website 的职位)。
现在的问题是,蜘蛛如何自动检测用户给定 ITEM 的 Xpath ????
以下是爬虫的代码(带有硬编码的Xpath):
class StackItem(scrapy.Item):
def __setitem__(self, key, value):
if key not in self.fields:
self.fields[key] = scrapy.Field()
self._values[key] = value
class newAppSpider(CrawlSpider):
name = "appSpider"
def __init__(self, *args, **kwargs):
super(newAppSpider, self).__init__(*args, **kwargs)
self.start_urls = [kwargs.get('start_url')]
rules = (Rule (SgmlLinkExtractor(allow=('.*\?id1=.*',),restrict_xpaths=('//a[@class="prevNext next"]',))
, callback="parse_items", follow= True),)
def parse_items(self, response):
hxs = HtmlXPathSelector(response)
posts = hxs.select("//article[@class='classified']")
items = []
for post in posts:
item = StackItem()
item[self.settings['MY_PROPERTY']] = post.select("div[@class='uu mb2px']/a/strong/text()").extract()
items.append(item)
for item in items:
yield item
请您参考如下方法:
因为您要在节点集中(每个职位发布)查找文本,所以您必须遍历发布的节点并查看该节点是否包含您需要的文本。
如果你想让它变得非常通用,这对 XPath 来说是个大问题。
但是如果一个特定的帖子包含这个文本你可以使用这样的东西来过滤:
for post in posts:
text_node = self.find_text(post, "Job Title")
if text_node:
print text_node.xpath('text()').extract()
还有进入蜘蛛的 find_text 函数(这可以进一步改进):
def find_text(self, node, text):
for child in node.xpath("./child::node()"):
if child.xpath("./text()[contains(.,'{0}')]".format(text)).extract():
return child
if child.xpath(".//text()[contains(.,'{0}')]".format(text)).extract():
return self.find_text(child, text)
注意 XPath 的contains 区分大小写。这意味着 Job Title 不等于 job title。
但是,如果您查看该站点,您会发现“职位名称”会带来一个小问题,因为该标签包含的不仅仅是职位名称。
还有一件事
因为您使用了规则,所以您的 start_url 没有被解析。如果您输入“职位名称”作为搜索文本,这是显而易见的,它会在更深的地方找到包含此文本的职位描述。要解决此问题,您必须重写蜘蛛的 parse_start_url 函数:
def parse_start_url(self, response):
self.parse_items(response)
对于启动错误
为您从 Flask 网站获得的值(value)加上引号:
command = "scrapy crawl appSpider -a start_url=" + request.form['url'] + '-s MY_PROPERTY="' + request.form['tag1']+'"'
