从 Python 从 Amazon S3 获取大量文件(相对较小的 10-50kB)的最快方法是什么？ (大约 200,000 - 百万个文件)。
目前我正在使用 boto 生成签名 URL，并使用 PyCURL 一个一个地获取文件。
某种类型的并发会有帮助吗？ PyCurl.CurlMulti 对象？
我愿意接受所有建议。谢谢!
请您参考如下方法:
我对 python 一无所知，但通常您会希望将任务分解为更小的 block ，以便它们可以同时运行。您可以按文件类型、字母顺序或其他方式将其分解，然后为分解的每个部分运行单独的脚本。
