Skip to main content
 首页 » 编程设计

python之将数据从 S3 加载到 dask 数据帧

2025年05月04日21wayfarer

只有在公开文件后将“anon”参数更改为 True,我才能加载数据。

df = dd.read_csv('s3://mybucket/some-big.csv',  storage_options = {'anon':False}) 

由于显而易见的原因,不推荐这样做。如何安全地从 S3 加载数据?

请您参考如下方法:

从 s3 加载数据的后端是 s3fs,它有一个关于凭证的部分 here ,它主要指向 boto3 的文档。

简短的回答是,有许多方法可以提供 S3 凭证,其中一些是自动的(位于正确位置的文件,或环境变量 - 所有工作人员都必须可以访问,或集群元数据服务)。

或者,您可以直接在调用中提供您的 key / secret ,但这当然必须意味着您信任您的执行平台和工作人员之间的通信

df = dd.read_csv('s3://mybucket/some-big.csv',  storage_options = {'key': mykey, 'secret': mysecret}) 

可以在 API docs 中找到使用 s3fs 时可以在 storage_options 中传递的参数集.

一般引用 http://docs.dask.org/en/latest/remote-data-services.html