我有一个数据框data:
import pandas as pd
data = pd.DataFrame({"col1" : ['1_xy','2_xy','3_xy','4_xy','5_xy'],
"col2" : [['a', 'b', 'c'],
['d', 'e', 'f', 'g', 'h', 'i'],
['a', 'j', 'k'],
['a', 'b', 'd'],
['a', 'l', 'm']]})
输出:
col1 col2
0 1_xy [a, b, c]
1 2_xy [d, e, f, g, h, i]
2 3_xy [a, j, k]
3 4_xy [a, b, d]
4 5_xy [a, l, m]
我正在尝试将此数据框转换成如下所示:
import re
new_data = pd.DataFrame({'col1': ['1_xy','2_xy','3_xy','4_xy','5_xy'],
'a' : [1,0,1,1,1], 'b' : [1,0,0,1,0],
'c' : [1,0,0,0,0], 'd' : [0,1,0,1,0],
'e' : [0,1,0,0,0], 'f' : [0,1,0,0,0],
'g' : [0,1,0,0,0], 'h' : [0,1,0,0,0],
'i' : [0,1,0,0,0], 'j' : [0,0,1,0,0],
'k' : [0,0,1,0,0], 'l' : [0,0,0,0,1],
'm' : [0,0,0,0,1]})
new_data[["col1"] + [name for name in new_data.columns if not re.search("col1", name)]]
输出:
col1 a b c d e f g h i j k l m
0 1_xy 1 1 1 0 0 0 0 0 0 0 0 0 0
1 2_xy 0 0 0 1 1 1 1 1 1 0 0 0 0
2 3_xy 1 0 0 0 0 0 0 0 0 1 1 0 0
3 4_xy 1 1 0 1 0 0 0 0 0 0 0 0 0
4 5_xy 1 0 0 0 0 0 0 0 0 0 0 1 1
即新数据框的列包含在 data.col2 列表中找到的唯一值,并且值填充与列表中的条目相对应的值。
到目前为止,我一直在尝试使用 pandas.get_dummies,但它会创建我无法控制的虚假列。
我试图对其执行此操作的真实数据非常高(很多行),因此内存“可能”是一个问题,但欢迎所有解决方案。我应该补充一点,我已经准备好一个解决方法,它使用字典方法——但不幸的是,它非常慢。希望任何人以前见过这个问题并且可以提供帮助。
我目前正在使用 python v3.4 和 pandas v0.14.1(我知道...)
请您参考如下方法:
您可以尝试 get_dummies,通过使用参数来获得正确的列名:
df = pd.get_dummies(data.col2.apply(pd.Series), prefix='', prefix_sep='')
pd.concat([data['col1'], df], axis=1)
Out[31]:
col1 a d b e j l c d f k m g h i
0 1_xy 1 0 1 0 0 0 1 0 0 0 0 0 0 0
1 2_xy 0 1 0 1 0 0 0 0 1 0 0 1 1 1
2 3_xy 1 0 0 0 1 0 0 0 0 1 0 0 0 0
3 4_xy 1 0 1 0 0 0 0 1 0 0 0 0 0 0
4 5_xy 1 0 0 0 0 1 0 0 0 0 1 0 0 0
