Skip to main content
 首页 » 编程设计

python之Pandas : determine mapping from unique rows to original dataframe

2025年05月04日26sky-heaven

给定以下输入:

In [18]: input 
Out[18]: 
   1  2   3  4 
0  1  5   9  1 
1  2  6  10  2 
2  1  5   9  1 
3  1  5   9  1 
 
In [26]: df = input.drop_duplicates() 
Out[26]: 
   1  2   3  4 
0  1  5   9  1 
1  2  6  10  2 

我将如何获取一个数组,该数组具有等效子集中行的索引,例如:

resultant = [0, 1, 0, 0]  

即这里的“1”基本上是在说明(输入中的行 [1])==(df 中的行 [1])。由于唯一行的数量少于“结果”中的多个值,这些值等同于 df 中的相似值。即(输入中的行[k] == 输入中的行[k+N])==(df 中的行[1])可能是一种情况。

我正在寻找来自输入的实际行号映射:df。

虽然这个例子在我的例子中是微不足道的,但是作为一个例子,我有大量可能映射到一个索引的丢弃映射。

我为什么要这个?我正在训练目标序列不唯一的自动编码器类型系统。

请您参考如下方法:

一种方法是将其视为所有列上的 groupby:

>> df.groupby(list(df.columns)).groups 
{(1, 5, 9, 1): [0, 2, 3], (2, 6, 10, 2): [1]} 

另一种方法是先排序然后比较,这在理论上效率较低,但在某些情况下可能会更快,而且绝对更容易容错:

>>> ds = df.sort(list(df.columns)) 
>>> eqs = (ds != ds.shift()).all(axis=1).cumsum() 
>>> ds.index.groupby(eqs) 
{1: [0, 2, 3], 2: [1]} 

这对我来说似乎是正确的数据结构,但如果你真的想要一个包含组 ID 的数组,那也很容易,例如

>>> eqs.sort_index() - 1 
0    0 
1    1 
2    0 
3    0 
dtype: int64