Skip to main content
 首页 » 编程设计

python之使用 scrapy 将格式松散的原始 html 消化为文本 block

2025年05月04日16youxin

刚刚介绍了 Scrapy。已经完成了基础教程,但感觉不太了解如何使用它。

我需要解析的简单情况如下:

BASIC CASE 
<li> 
    <b>Descriptive Title</b> 
    <br> 
    The_first_paragraph_of_text 
    <p>Second paragraphs of text</p> 
    ... 
    <p>Nth Paragraph of text</p> 
</li> 

我想要做的是生成一个包含两列的数据库记录,“title”和“body_text”。标题来自“描述性标题”,正文来自获取所有文本段落并连接成一个文本 block 。

我写了一些简单的东西

"""pulls out the Descriptive Title and all the <p>-wrapped paragraphs but misses the first paragraph (which isn't wrapped in a <p>""" 
for sel in response.xpath("//li"): 
    b = sel.xpath('b').extract() 
    print "b = {0}\n".format(b)     
    for p in sel.xpath('p'): 
        paragraph = p.xpath('text()').extract() 
        print"\n{0}".format(paragraph) 

但这并没有捕捉到展开的第一段,只有第二段及以后的段落。而且,它对 <li> 的变体不稳健。 html block 。

在一个变体中,第一段有时用斜体字包裹。

ITALICS COMPLICATION 
<li> 
    <b>Descriptive Title</b> 
    <br> 
    <i>Occasionally The_first_paragraph_of_text is in italics</i> 
    <p>Second paragraphs of text</p> 
    ... 
    <p>Nth Paragraph of text</p> 
</li> 

在另一种变体中,有时 <li>嵌入在某些段落 block 中。

SUB LIST-ITEM COMPLICATION 
<li> 
    <b>Descriptive Title</b> 
    <br> 
    <i>Occasionally The_first_paragraph_of_text is in italics</i> 
    <p>Second paragraphs of text</p> 
    <p>Sometimes paragraphs will have lists inside them 
        <li>idea 1</li> 
        <li>idea 2</li> 
        <li>idea N</li> 
    </p> 
    <p>Nth Paragraph of text</p> 
</li> 

我怀疑我并没有真正以“scrapythonic”方式消化 html 文件。编写更强大的选择器以提取我想要的内容的正确方法是什么?

请您参考如下方法:

与其说是 scrapy 问题,不如说是 xpath 问题。
如果您的标题始终在第一个元素中,即 <b>标签
这很容易 sel.xpath('b[1]/text()') .

如果我是你,我会添加一些严格的断言
让它失败而不是废弃错误的标题文本 因为 <b>标签通常可以扮演其他角色。
尝试:
title, = sel.xpath('*[1][self::b and count(node())=count(text())]')
title = u'\n'.join(sel.xpath('text()'))
内容如下(括号内为断言):
必须存在且只有一个标签(由 title, = 断言)
这是第一个标签(由 [1] 断言)
并且是 <b> (由 self::b 断言)
并且只有文本节点(由 count(text())=count(node()) 断言)

对于正文, 你必须习惯使用 html 进行格式化 除非你正在抓取网站 非常简单地格式化其主要内容 (例如排列 <p> 标签)。

您可以按文档顺序获取所有文本后代:
sel.xpath('.//text()')
然而<script>和 <style>标签可能会显示不需要的文本;
你不希望你的正文充满 javascript/css 乱码。
您可以通过以下方式阻止他们被选中:
sel.xpath('.//text()[not(parent::script or parent::style)]')
然后,您可能希望将提取的文本与 u'\n'.join() 连接起来。

这将解决您的问题,但它不会处理所有不需要的标签。
玩转 lxml.html.clean.Cleaner(style=True)
(此处记录 http://lxml.de/lxmlhtml.html#cleaning-up-html )
并考虑寻找一个将 html 呈现为文本的库。