我正在尝试使用 Python 抓取此页面和类似页面:
url = "http://www.nature.com/nature/journal/v521/n7553/full/nature14410.html"
虽然我可以使用我的浏览器导航到此页面,但我收到 urllib2 的 401 身份验证错误并且无法弄清楚原因。 需要说明的是,我知道这篇文章是付费的,但我只对标题、作者、卷、引用文献等内容感兴趣,这些都是免费提供的,我显然没有订阅。
from urllib2 import urlopen
urlopen("http://www.nature.com/nature/journal/v521/n7553/full/nature14410.html")
我曾尝试更改用户代理,认为网站以某种方式检测到我没有使用浏览器
request = urllib2.Request(url)
opener = urllib2.build_opener()
opener.add_headers = [('User-agent', 'Mozilla/5.0')]
作为非 Web 开发人员,我不清楚如何解决这个问题或找出障碍所在。
请您参考如下方法:
如果我在 Chrome 中使用开发者工具,它会显示即使在浏览器中,特定页面也会给出 401 Unauthorized 响应。不幸的是,urllib2 总是在错误响应时引发异常,并使查看内容变得更加困难。
使这种情况更加复杂的是 nature.com 似乎没有设置 Content-Encoding header 来指示它已经压缩了响应,即使它有。
尝试这样的事情:
import urllib2
import cStringIO as StringIO
import gzip
def getDataFromCompressedError(url):
try:
urllib2.urlopen(url)
except urllib2.URLError as e:
data = e.read()
strfile = StringIO.StringIO(data)
gz = gzip.GzipFile(fileobj=strfile)
return gz.read()
if __name__ == "__main__":
print getDataFromCompressedError("http://www.nature.com/nature/journal/v521/n7553/full/nature14410.html")
