我正在尝试从 MLB 网站上抓取一些有关 MLB 球员的信息。 但是,使用 urllib2 和 BeautifulSoup,我找不到“div”下的内容。但我可以清楚地看到 Chrome 上的内容。
一个例子是,转到页面(http://mlb.mlb.com/team/player.jsp?player_id=150378)。右上角的状态信息显示“已发布”。但我无法使用 BS4 找到此字符串/内容。
这是我的代码:
base_url = 'http://mlb.mlb.com/team/player.jsp?player_id=150378'
request = urllib2.Request(base_url)
response = urllib2.urlopen(request)
soup = BeautifulSoup(response)
player_status = soup.findAll('div',id='player_status')
print player_status
我期待它有一个像'Status: Released'这样的字符串, 但结果只显示
[<div id="player_status"></div>]
我以前从来没有遇到过这个问题。有人可以帮我弄这个吗? 谢谢!!
请您参考如下方法:
页面上的播放器信息来自对 JSON API 的额外 XHR 请求的响应。您可以模拟它,例如,使用 requests :
>>> import requests
>>>
>>> url = "http://mlb.mlb.com/lookup/json/named.player_info.bam?sport_code=%27mlb%27&player_id=150378"
>>>
>>> response = requests.get(url)
>>> data = response.json()
>>> data['player_info']['queryResults']['row']['status']
Released
