我最近决定开始使用 python 进行解析,我编写了一个项目,我需要从所有 youtubers 视频中获取数据。我决定只要转到他们 channel 中的视频选项卡并解析所有链接就很容易了。但是,当我解析它时,我一次只能获取 30 个视频。我想知道为什么这是因为当您加载更多时链接似乎永远不会改变。以及是否有办法解决它。 这是我的代码
import bs4 as bs
import requests
page = requests.get("/run/media/morpheous/PORTEUS/Workspace/Python/Parsing/parse.py")
soup = bs.BeautifulSoup(page.text, 'html.parser')
soup.find_all("a", "watch-view-count")
k = soup.find_all("div", "yt-uix-sessionlink yt-uix-tile-link spf-link yt-ui-ellipsis yt-ui-ellipsis-2")
storage = open('data.csv', 'a')
storage.write(k.get('href')
storage.close()
感谢任何帮助,谢谢
请您参考如下方法:
我应该首先说我同意@jonrsharpe。使用 YouTube API是更明智的选择。
但是,如果您必须通过抓取来做到这一点,这里有一个建议。
我们以MKBHD为例的视频页面为例。页面底部的加载更多按钮有一个button。带有此属性的标记(您可以使用浏览器的“检查元素”功能来查看此值):
data-uix-load-more-href="/browse_ajax?action_continuation=1&continuation=4qmFsgJAEhhVQ0JKeWNzbWR1dllFTDgzUl9VNEpyaVEaJEVnWjJhV1JsYjNNZ0FEZ0JZQUZxQUhvQk1yZ0JBQSUzRCUzRA%253D%253D"
当您单击加载更多 按钮时,它会向此/browse_ajax 发出AJAX 请求。网址。响应是一个 JSON 对象,如下所示:
{
content_html: "the html for the videos",
load_more_widget_html: " \n\n\n\n \u003cbutton class=\"yt-uix-button yt-uix-button-size-default yt-uix-button-default load-more-button yt-uix-load-more browse-items-load-more-button\" type=\"button\" onclick=\";return false;\" aria-label=\"Load more\n\" data-uix-load-more-href=\"\/browse_ajax?action_continuation=1\u0026amp;continuation=4qmFsgJAEhhVQ0JKeWNzbWR1dllFTDgzUl9VNEpyaVEaJEVnWjJhV1JsYjNNZ0FEZ0JZQUZxQUhvQk03Z0JBQSUzRCUzRA%253D%253D\" data-uix-load-more-target-id=\"channels-browse-content-grid\"\u003e\u003cspan class=\"yt-uix-button-content\"\u003e \u003cspan class=\"load-more-loading hid\"\u003e\n \u003cspan class=\"yt-spinner\"\u003e\n \u003cspan class=\"yt-spinner-img yt-sprite\" title=\"Loading icon\"\u003e\u003c\/span\u003e\n\nLoading...\n \u003c\/span\u003e\n\n \u003c\/span\u003e\n \u003cspan class=\"load-more-text\"\u003e\n Load more\n\n \u003c\/span\u003e\n\u003c\/span\u003e\u003c\/button\u003e\n\n\n"
}
content_html包含新视频页面的 html。您可以解析它以获取该页面中的视频。要转到下一页,您需要使用 load_more_widget_html值并提取再次看起来像的 url:
data-uix-load-more-href="/browse_ajax?action_continuation=1&continuation=4qmFsgJAEhhVQ0JKeWNzbWR1dllFTDgzUl9VNEpyaVEaJEVnWjJhV1JsYjNNZ0FEZ0JZQUZxQUhvQk1yZ0JBQSUzRCUzRA%253D%253D"
该 url 中唯一改变的是 continuation 的值范围。您可以继续向这个“继续”url 发出请求,直到返回的 JSON 对象没有 load_more_widget_html .
