Skip to main content
 首页 » 编程设计

Python:获取具有格式的网站的所有网址

2025年05月04日10mfrbuaa

这可能不是表达这个问题的正确方式,但是有没有一种快速的方法来获取具有某种格式的网站的 URL。我的意思是假设 URL 的格式为 www.example.com/stuff/number=0123456789,其中末尾的数字始终为 10 位数字。

现在我正在使用 scrapy 遍历从 0000000000 到 9999999999 的每种 URL 格式,这是 100 亿种不同的组合,以查看是否有网页位于那里。虽然我正在运行多个实例,而且运行速度非常快,但仍然需要很长时间,而且必须有更好的方法来完成。有什么建议吗?

请您参考如下方法:

Scrapy 本身非常快,可配置和可扩展。我会坚持下去,尝试优化当前的方法并扩展它。例如:

但是,请确保您遵守法律并且没有违反网站的使用条款。


作为旁注并解决混淆,BeautifulSoup 是一个 HTML 解析器,它擅长它的功能。它不能自己发出 HTTP 请求。它需要传入一个 HTML。


作为另一个旁注,一般来说,获取所有 10 位数字组合并检查是否有与某个数字对应的网页听起来不太正确。如果您能详细说明问题背后的动机,我们可以提出更多选择或替代方法。