我正在处理一个大型金融数据集(目前为 15 GB,但稍后将达到 200 GB)。使用它的最佳方式是什么。特别是,我想做一些统计测试并使用毫秒数据生成一些图表。到目前为止,我已经使用 sqlite3 来简化操作,但它似乎无法处理文件的大小。我正在使用 PyCharm(不确定是否有帮助)
请您参考如下方法:
如果您想管理大量数据,sqlite 不是一个好的选择(实际上我不会将 sqlite 用于原型(prototype)设计或运行测试以外的其他事情)。
您可以尝试使用amazon RDS来存储数据库http://aws.amazon.com/es/rds/并在亚马逊提供的数据库引擎之一中进行选择。
至于使用 Python,我认为你应该让数据库引擎处理请求,而只使用 python 来生成图形。
