我使用 pandas dataframes 从 oracle 数据库访问海量数据,运行良好。我在派生自数据框的类中实现的一个函数用外键指向的数据替换外键。效果很好。
因为数据帧中的行数非常高(即 100.000.000),我认为在一次又一次这样做之前实现一些测试外键是否已经被替换的东西会很好。所以在派生类中添加了一个属性,在数据被替换后设置为True,所以replace方法可以测试这个状态,如果已经是True则可以跳出。
class DerivedDataFrame(pandas.DataFrame):
def __init__(self):
self.resolve_status = False
def resolve_data(self, ....):
if not self.resolve_status:
resolve data
self.resolve_status = True
...
问题是当我使用即 merge() 时,它不提供就地工作,而是从合并数据创建一个新实例并返回它。数据本身没问题,但是由于新实例 self.resolve_status 再次为 False,因为新实例具有 init() 中设置的值并且不保留合并前的属性值.
有出路吗?使用不允许就地操作的方法来保留此(和其他)属性的有效解决方案是什么?
请您参考如下方法:
跟踪变量中的新对象。使用新对象 __dict__ 属性更新对象的 __dict__ 属性。
__dict__ 属性是所有属性和方法的字典。这就是我过去做类似事情的方式。
def resolve_data(self):
if not self.resolve_status:
self.resolve_status = True
new = self.copy() # just an example, replace with your own
self.__dict__.update(new.__dict__)
演示
import pandas as pd
class SubDF(pd.DataFrame):
def __init__(self, *args, **kwargs):
super(SubDF, self).__init__(*args, **kwargs)
self.resolve_status = False
def resolve_data(self):
if not self.resolve_status:
self.resolve_status = True
new = self.copy() * 3
self.__dict__.update(new.__dict__)
sdf = SubDF([1, 2, 4])
print sdf.resolve_status
print
print sdf
print
sdf.resolve_data()
print sdf.resolve_status
print
print sdf
False
0
0 1
1 2
2 4
True
0
0 3
1 6
2 12
