我有一个 dataset 以温度为一列。由于加热器的工作方式,数据中存在许多空白。为了让不同的数据集可以直接比较,我想把这些缺失的温度补上,在另外一列加上对应的NaN。
我已经尝试使用这里给出的答案,这似乎正是我想要的:link . 但这不起作用 - 我得到了一个包含我想要的新温度值的数据框,但相应的数据已经消失了:
import pandas as pd
import numpy as np
A1 = pd.read_table('Test data.tsv', encoding='ISO-8859-1', header = 2)
A1.columns = ['time',2,3,4,5,6,7,'freq',9,10,11,12,13,'temp',15,16,17,18,19]
A1truncated = A1[A1.temp >= 25]; A1truncated=A1truncated[A1truncated.temp <= 350.1]
A1averaged = A1truncated.groupby(['temp'], as_index=False)['freq'].mean()
A1averaged = np.around(A1averaged, decimals=1)
A1averaged.set_index('temp')
new_index = pd.Index(np.arange(25, 350, 0.1), name='temp')
A1indexed = A1averaged.set_index('temp').reindex(new_index).reset_index()
将我的 19 列变成 1 列,以温度作为索引 (A1averaged),然后变成 2 列,带有新的温度列表和一列空数据 (A1indexed)。 任何想法为什么这不起作用?或者用另一种方法来做同样的事情?
请您参考如下方法:
带 float 的索引可以reindex 有问题,不一致可能是因为浮点精度。所以我使用了一些小技巧 - Int64Index 而不是 Float64Index。
我尝试以更简单的方式设置子集:
A1truncated = A1[(A1.temp >= 25) & ( A1.temp <= 350.1)]
然后省略第一次设置索引,因为设置了两次:
A1averaged.set_index('temp')
将new_index设置为Int64Index:
new_index = pd.Index(np.arange(250, 3500), name='temp')
并使用 Int64Index,方法是将 temp 列乘以 10,最后将此列除以 10。
A1averaged['temp'] = A1averaged['temp'] * 10
A1indexed['temp'] = A1indexed['temp'] / 10
一起:
import pandas as pd
import numpy as np
A1 = pd.read_table('Test data.tsv', encoding='ISO-8859-1', header = 2)
A1.columns = ['time',2,3,4,5,6,7,'freq',9,10,11,12,13,'temp',15,16,17,18,19]
A1truncated = A1[(A1.temp >= 25) & ( A1.temp <= 350.1)]
A1averaged = A1truncated.groupby(['temp'], as_index=False)['freq'].mean()
A1averaged = np.around(A1averaged, decimals=1)
new_index = pd.Index(np.arange(250, 3500), name='temp')
A1averaged['temp'] = A1averaged['temp'] * 10
A1indexed = A1averaged.set_index('temp').reindex(new_index).reset_index()
A1indexed['temp'] = A1indexed['temp'] / 10
print A1indexed.tail()
# temp freq
#3245 349.5 5830065.6
#3246 349.6 5830043.5
#3247 349.7 5830046.3
#3248 349.8 5830025.3
#3249 349.9 5830015.6
