我在 Python 中使用 urllib2,我正在尝试从以下位置下载新闻故事列表:http://web.tmxmoney.com/news.php?qm_symbol=CM
但是,当我尝试从以下位置下载时,这是可行的: http://web.tmxmoney.com/news.php?qm_symbol=CM#qmpage2 (和后续页面),结果始终与第一页相同。
我正在使用以下命令将数据加载到字符串中:
contents = urllib2.urlopen(url).read()
我不确定数据是如何在后台加载到 php 页面中的,但它似乎是在加载后稍微发生的,而不是作为直接查询给定在 url 中发布的请求。
我已尝试使用 time.sleep() 并使用 urllib2.Request() 和 .urlopen() 来 try catch 更改当页面加载但没有成功时。
有谁知道如何让urllib2获取后续页面的内容#qmpage2, #qmpage3, ...?
请您参考如下方法:
从检查页面来看,所有新闻页面似乎都在每次请求时呈现;页码的散列似乎会触发 javascript,它确定显示新闻的“页面”。您应该能够通过单个请求访问所有新闻故事(使用 BeautifulSoup,您可以使用 news = contents.find_all(class_="newsheadlines") 获取所有新闻页面的包含元素,并且从那里解析单个页面)。
