python之网络抓取以形成新闻数据库

我正在为不同的新闻媒体创建一个网络抓取工具。我正在尝试为 The Hindu 报纸创建一个。

我想从其文件中提到的各种链接获取新闻。假设我想在第二天通过提到的链接获取新闻:http://www.thehindu.com/archive/web/2010/06/19/ 即 2010 年 6 月 19 日。

现在我写了下面几行代码:

import mechanize 
from bs4 import BeautifulSoup 
 
url = "http://www.thehindu.com/archive/web/2010/06/19/" 
 
br =  mechanize.Browser() 
htmltext = br.open(url).read() 
 
articletext = "" 
soup = BeautifulSoup(htmltext) 
for tag in soup.findAll('li', attrs={"data-section":"Business"}): 
    articletext += tag.contents[0] 
print articletext 

但我无法获得所需的结果。我基本上卡住了。谁能帮我解决一下？