我有一些使用 BeautifulSoup 的 Python 屏幕抓取代码,这让我很头疼。对 html 的一个小改动使我的代码中断,但我不明白为什么它无法工作。这基本上是 html 在解析时的外观演示:
soup=BeautifulSoup("""
<td>
<a href="https://alink.com">
Foo Some text Bar
</a>
</td>
""")
links = soup.find_all('a',text=re.compile('Some text'))
links[0]['href'] # => "https://alink.com"
升级后,a 标签体现在包含一个 img 标签,这使得代码中断。
<td>
<a href="https://alink.com">
<img src="dummy.gif" >
Foo Some text Bar
</a>
</td>
“链接”现在是一个空列表,所以正则表达式没有找到任何东西。 我通过单独匹配文本来破解它,然后找到 它的父级,但这似乎更脆弱:
links = soup.find_all(text=re.compile('Some text'))
links[0].parent['href'] # => "https://alink.com"
什么是添加img标签作为文本的兄弟 内容打破了 BeautifulSoup 所做的搜索,并且在那里 一种修改第一个代码的方法?
请您参考如下方法:
区别在于第二个例子有一个不完整的 img 标签:
应该是
<img src="dummy.gif" />
Foo Some text Bar
或
<img src="dummy.gif" > </img>
Foo Some text Bar
相反,它被解析为
<img src="dummy.gif" >
Foo Some text Bar
</img>
所以找到的元素不再是a,而是img,它的父元素是a。
