我用 python 做了一个爬虫,我正在尝试从这篇文章中下载图像- http://www.bbc.com/news/business-34958154 . 这个网站的问题是它会自动调整它的大小,当我尝试下载文章的图片时,它给我的是 320 像素(太小)。发生这种情况的原因是爬虫进入了 url 的源文件(查看源代码:http://www.bbc.com/news/business-34958154),其中有 320 像素。 有一种方法可以使图像最大尺寸,或者我如何在浏览器中看到它? 这是拍摄图像的代码:
r = requests.get("http://www.bbc.com/news/business-34958154")
soup = BeautifulSoup(r.content)
soupAllImgs=soup.findAll('img',src=True)
请您参考如下方法:
该图片标签有 src="http://ichef.bbci.co.uk/news/320/media/images/78532000/jpg/_78532434_hs2ii.jpg"。通过更改 URL 中的 320,您可以获得几乎任何您想要的图像 — *** 此处:
http://ichef.bbci.co.uk/news/***/media/images/78532000/jpg/_78532434_hs2ii.jpg
看起来他们使用 JavaScript 来动态替换它,可能取决于带宽和设备。我发现我可以获得 10 到 999 像素之间的任何值,然后是 1024 和 2048...我没有测试更多。
澄清后更新
如果你想获得屏幕上的内容——也就是说,在任何 JavaScript 完成执行之后——那么你需要一些可以执行 JS 的东西,比如 Selenium , 请参阅 this question例如。
甚至有办法做到这一点 without opening a browser — 请务必阅读所有可能的答案和评论。
