我正在开发一个 python 程序,该程序将从网页中抓取数据(公共(public)数据)。问题是当我想获取可使用按钮访问且基于 ASP.NET 的网页的源代码时。我不能像往常一样从页面解析 href。
所以我的问题是:有没有一种简单的方法可以获取ASP.NET页面的源代码?
为了解释清楚,我附上了一个基于 ASP.NET 的网页: 在这种情况下,我想获得当我点击页面中间的“Radiátor topení (1)”时显示的页面源代码。 您可以看到父页面我要模拟点击的按钮在哪里 here !
我试图检查这个(父)页面的源代码并在“Radiátor topení (1)”文本附近寻找一些 url,但我只找到了这个:
<td class="CatalogCell"><a onclick=" return PathClick('3761801;176564;356239;922141;922488;922507;922508')"><H2 class="CatalogH">Radiátor topení (1)</H2></a></td> 恐怕这对我没有帮助。
我正在寻找一种最简单的方法,因为我既不精通 ASP.NET 也不精通 Javascript。 谢谢指教!
请您参考如下方法:
程序是python的,给出了链接的html源
import urllib2
from bs4 import BeautifulSoup
link="http://www.example.com"
hdr = {'User-Agent': 'Mozilla/5.0'}
req = urllib2.Request(link,headers=hdr)
page = urllib2.urlopen(link)
soup = BeautifulSoup(page,'html.parser')
print soup
