Skip to main content
 首页 » 编程设计

python之使用 boto 将文件从 S3 复制到 Google Cloud 存储

2025年05月04日16zdz8207

我正在尝试在 python 脚本中自动将文件从 S3 复制到 Google Cloud Storage。

我看到到处都有人推荐使用 gsutil 作为命令行实用程序。

有人知道这是否直接复制文件吗?还是先下载文件到电脑再上传到GS?

这可以使用 boto 库和谷歌的 OAuth2 插件来完成吗?

这是我从谷歌的文档和一点点或试错中得到的:

src_uri = boto.storage_uri('bucket/source_file')           
dst_uri = boto.storage_uri('bucket/destination_file', 'gs')                 
 
object_contents = StringIO.StringIO()                                         
 
src_uri.get_key().get_file(object_contents)                                   
 
object_contents.seek(0)                                                       
 
dst_uri.set_contents_from_file(object_contents)                               
 
object_contents.close()          

据我所知,我正在从一个文件读取到运行脚本的主机中的一个对象,然后将此类内容上传到 GS 中的一个文件中。

这样对吗?

请您参考如下方法:

自从提出这个问题后,GCS Transfer Service已经可用。如果您想在没有中间件的情况下将文件从 S3 复制到 GCS,这是一个不错的选择。