Skip to main content
 首页 » 编程设计

Python3 一次解析 30 多个来自 youtube 的视频

2025年05月04日14think

我最近决定开始使用 python 进行解析,我编写了一个项目,我需要从所有 youtubers 视频中获取数据。我决定只要转到他们 channel 中的视频选项卡并解析所有链接就很容易了。但是,当我解析它时,我一次只能获取 30 个视频。我想知道为什么这是因为当您加载更多时链接似乎永远不会改变。以及是否有办法解决它。 这是我的代码

import bs4 as bs 
import requests 
 
page = requests.get("/run/media/morpheous/PORTEUS/Workspace/Python/Parsing/parse.py") 
soup = bs.BeautifulSoup(page.text, 'html.parser') 
soup.find_all("a", "watch-view-count") 
k = soup.find_all("div", "yt-uix-sessionlink yt-uix-tile-link  spf-link  yt-ui-ellipsis yt-ui-ellipsis-2") 
storage = open('data.csv', 'a') 
storage.write(k.get('href') 
storage.close() 

感谢任何帮助,谢谢

请您参考如下方法:

我应该首先说我同意@jonrsharpe。使用 YouTube API是更明智的选择。

但是,如果您必须通过抓取来做到这一点,这里有一个建议。

我们以MKBHD为例的视频页面为例。页面底部的加载更多按钮有一个button。带有此属性的标记(您可以使用浏览器的“检查元素”功能来查看此值):

data-uix-load-more-href="/browse_ajax?action_continuation=1&continuation=4qmFsgJAEhhVQ0JKeWNzbWR1dllFTDgzUl9VNEpyaVEaJEVnWjJhV1JsYjNNZ0FEZ0JZQUZxQUhvQk1yZ0JBQSUzRCUzRA%253D%253D"

当您单击加载更多 按钮时,它会向此/browse_ajax 发出AJAX 请求。网址。响应是一个 JSON 对象,如下所示:

{ 
    content_html: "the html for the videos", 
    load_more_widget_html: "      \n\n\n\n    \u003cbutton class=\"yt-uix-button yt-uix-button-size-default yt-uix-button-default load-more-button yt-uix-load-more browse-items-load-more-button\" type=\"button\" onclick=\";return false;\" aria-label=\"Load more\n\" data-uix-load-more-href=\"\/browse_ajax?action_continuation=1\u0026amp;continuation=4qmFsgJAEhhVQ0JKeWNzbWR1dllFTDgzUl9VNEpyaVEaJEVnWjJhV1JsYjNNZ0FEZ0JZQUZxQUhvQk03Z0JBQSUzRCUzRA%253D%253D\" data-uix-load-more-target-id=\"channels-browse-content-grid\"\u003e\u003cspan class=\"yt-uix-button-content\"\u003e  \u003cspan class=\"load-more-loading hid\"\u003e\n      \u003cspan class=\"yt-spinner\"\u003e\n      \u003cspan class=\"yt-spinner-img  yt-sprite\" title=\"Loading icon\"\u003e\u003c\/span\u003e\n\nLoading...\n  \u003c\/span\u003e\n\n  \u003c\/span\u003e\n  \u003cspan class=\"load-more-text\"\u003e\n    Load more\n\n  \u003c\/span\u003e\n\u003c\/span\u003e\u003c\/button\u003e\n\n\n" 
} 

content_html包含新视频页面的 html。您可以解析它以获取该页面中的视频。要转到下一页,您需要使用 load_more_widget_html值并提取再次看起来像的 url:

data-uix-load-more-href="/browse_ajax?action_continuation=1&continuation=4qmFsgJAEhhVQ0JKeWNzbWR1dllFTDgzUl9VNEpyaVEaJEVnWjJhV1JsYjNNZ0FEZ0JZQUZxQUhvQk1yZ0JBQSUzRCUzRA%253D%253D"

该 url 中唯一改变的是 continuation 的值范围。您可以继续向这个“继续”url 发出请求,直到返回的 JSON 对象没有 load_more_widget_html .