Skip to main content
 首页 » 编程设计

Python urllib2 网络抓取 401 错误但可在浏览器中访问

2025年05月04日7itcoder

我正在尝试使用 Python 抓取此页面和类似页面:

url = "http://www.nature.com/nature/journal/v521/n7553/full/nature14410.html" 

虽然我可以使用我的浏览器导航到此页面,但我收到 urllib2 的 401 身份验证错误并且无法弄清楚原因。 需要说明的是,我知道这篇文章是付费的,但我只对标题、作者、卷、引用文献等内容感兴趣,这些都是免费提供的,我显然没有订阅。

from urllib2 import urlopen 
urlopen("http://www.nature.com/nature/journal/v521/n7553/full/nature14410.html") 

我曾尝试更改用户代理,认为网站以某种方式检测到我没有使用浏览器

request = urllib2.Request(url) 
opener = urllib2.build_opener() 
opener.add_headers = [('User-agent', 'Mozilla/5.0')] 

作为非 Web 开发人员,我不清楚如何解决这个问题或找出障碍所在。

请您参考如下方法:

如果我在 Chrome 中使用开发者工具,它会显示即使在浏览器中,特定页面也会给出 401 Unauthorized 响应。不幸的是,urllib2 总是在错误响应时引发异常,并使查看内容变得更加困难。

使这种情况更加复杂的是 nature.com 似乎没有设置 Content-Encoding header 来指示它已经压缩了响应,即使它有。

尝试这样的事情:

import urllib2 
import cStringIO as StringIO 
import gzip 
 
def getDataFromCompressedError(url): 
    try: 
        urllib2.urlopen(url) 
    except urllib2.URLError as e: 
        data = e.read() 
        strfile = StringIO.StringIO(data) 
        gz = gzip.GzipFile(fileobj=strfile) 
        return gz.read() 
 
 
if __name__ == "__main__": 
    print getDataFromCompressedError("http://www.nature.com/nature/journal/v521/n7553/full/nature14410.html")