刚刚介绍了 Scrapy。已经完成了基础教程,但感觉不太了解如何使用它。
我需要解析的简单情况如下:
BASIC CASE
<li>
<b>Descriptive Title</b>
<br>
The_first_paragraph_of_text
<p>Second paragraphs of text</p>
...
<p>Nth Paragraph of text</p>
</li>
我想要做的是生成一个包含两列的数据库记录,“title”和“body_text”。标题来自“描述性标题”,正文来自获取所有文本段落并连接成一个文本 block 。
我写了一些简单的东西
"""pulls out the Descriptive Title and all the <p>-wrapped paragraphs but misses the first paragraph (which isn't wrapped in a <p>"""
for sel in response.xpath("//li"):
b = sel.xpath('b').extract()
print "b = {0}\n".format(b)
for p in sel.xpath('p'):
paragraph = p.xpath('text()').extract()
print"\n{0}".format(paragraph)
但这并没有捕捉到展开的第一段,只有第二段及以后的段落。而且,它对 <li> 的变体不稳健。 html block 。
在一个变体中,第一段有时用斜体字包裹。
ITALICS COMPLICATION
<li>
<b>Descriptive Title</b>
<br>
<i>Occasionally The_first_paragraph_of_text is in italics</i>
<p>Second paragraphs of text</p>
...
<p>Nth Paragraph of text</p>
</li>
在另一种变体中,有时 <li>嵌入在某些段落 block 中。
SUB LIST-ITEM COMPLICATION
<li>
<b>Descriptive Title</b>
<br>
<i>Occasionally The_first_paragraph_of_text is in italics</i>
<p>Second paragraphs of text</p>
<p>Sometimes paragraphs will have lists inside them
<li>idea 1</li>
<li>idea 2</li>
<li>idea N</li>
</p>
<p>Nth Paragraph of text</p>
</li>
我怀疑我并没有真正以“scrapythonic”方式消化 html 文件。编写更强大的选择器以提取我想要的内容的正确方法是什么?
请您参考如下方法:
与其说是 scrapy 问题,不如说是 xpath 问题。
如果您的标题始终在第一个元素中,即 <b>标签
这很容易 sel.xpath('b[1]/text()') .
如果我是你,我会添加一些严格的断言
让它失败而不是废弃错误的标题文本 因为 <b>标签通常可以扮演其他角色。
尝试:
title, = sel.xpath('*[1][self::b and count(node())=count(text())]')
title = u'\n'.join(sel.xpath('text()'))
内容如下(括号内为断言):
必须存在且只有一个标签(由 title, = 断言)
这是第一个标签(由 [1] 断言)
并且是 <b> (由 self::b 断言)
并且只有文本节点(由 count(text())=count(node()) 断言)
对于正文, 你必须习惯使用 html 进行格式化 除非你正在抓取网站 非常简单地格式化其主要内容 (例如排列 <p> 标签)。
您可以按文档顺序获取所有文本后代:
sel.xpath('.//text()')
然而<script>和 <style>标签可能会显示不需要的文本;
你不希望你的正文充满 javascript/css 乱码。
您可以通过以下方式阻止他们被选中:
sel.xpath('.//text()[not(parent::script or parent::style)]')
然后,您可能希望将提取的文本与 u'\n'.join() 连接起来。
这将解决您的问题,但它不会处理所有不需要的标签。
玩转 lxml.html.clean.Cleaner(style=True)
(此处记录 http://lxml.de/lxmlhtml.html#cleaning-up-html )
并考虑寻找一个将 html 呈现为文本的库。
