Skip to main content
 首页 » 编程设计

python之如何在不丢失数据的情况下合并数据帧

2024年11月01日9cloudgamer

我想合并两个数据框,并优先将左侧数据框的数据置于右侧:

我目前有:

(Pdb) pp question_struct 
   QuestionID       RowID  MenuID  ColumnID SourceRowID  SourceColumnID  SourceVariationID 
0   316926394  3029937752       0         0  3029937752               0                  0 
1   316926394  3029937753       0         0  3029937753               0                  0 
2   316926394  3029937754       0         0  3029937754               0                  0 
3   316926394  3029937755       0         0  3029937755               0                  0 
4   316926394  3029937756       0         0  3029937756               0                  0 
5   316926394  3029937757       0         0  3029937757               0                  0 
 
[6 rows x 7 columns] 
(Pdb) pp df 
  QuestionID       RowID ColumnID MenuID SourceRowID SourceColumnID  SourceVariationID  ResponseCount 
0  316926394  3029937753        0      0  3029937753              0                  0              1 
 
[1 rows x 8 columns] 
(Pdb) df.combine_first(question_struct) 
  ColumnID MenuID QuestionID  ResponseCount       RowID SourceColumnID SourceRowID  SourceVariationID 
0        0      0  316926394              1  3029937753              0  3029937753                  0 
1        0      0  316926394            NaN  3029937753              0  3029937753                  0 
2        0      0  316926394            NaN  3029937754              0  3029937754                  0 
3        0      0  316926394            NaN  3029937755              0  3029937755                  0 
4        0      0  316926394            NaN  3029937756              0  3029937756                  0 
5        0      0  316926394            NaN  3029937757              0  3029937757                  0 
 
[6 rows x 8 columns] 

但它正在丢失 question_struct 3029937752 的第一行,即使它与 df 中的任何内容都不冲突并复制确实有冲突的 3029937753。

请您参考如下方法:

combine_first只是匹配索引,而不是值(就像合并那样),并更新这些行中的 NaN。如果您在 question_struct 中有额外的列或在 df 中有 NaN,那么这些将被合并到新的 DataFrame 中,因为您没有,它不会提取任何内容。

下面是一个例子来解释发生了什么:

In [11]: df1 = pd.DataFrame([[1, 2], [3, 4]], columns=['A', 'B']) 
 
In [12]: df2 = pd.DataFrame([[5, 6], [7, 8]], index=[1, 2], columns=['A', 'C']) 
 
In [13]: df1.combine_first(df2) 
Out[13]: 
   A   B   C 
0  1   2 NaN 
1  3   4   6 
2  7 NaN   8 

看到没有包括 5,因为 df1 已经有第 1 行的 B 列的值。

如果我们先让 3 成为 NaN,那么它将使用 5:

In [14]: df1.iloc[1,0] = np.nan  # was a 3 
 
In [15]: df1.combine_first(df2) 
Out[15]: 
   A   B   C 
0  1   2 NaN 
1  5   4   6 
2  7 NaN   8