Skip to main content
 首页 » 编程设计

python之如何从 Dataframe 中删除重复的列和最后 5 行

2025年04月02日19davidwang456

我有 50 个 DataFrame ,它是制表符分隔的并且有两列。我需要向这些文件中添加列名。

这是文件的示例,

    ==> PE07_ID.count <== 
ENSG00000000003 0 
ENSG00000000005 0 
ENSG00000000419 586 
ENSG00000000457 97 
 
==> PE07_REL.count <== 
ENSG00000000003 2 
ENSG00000000005 0 
ENSG00000000419 954 
 
==> PE08_ID.count <== 
ENSG00000000003 0 
ENSG00000000005 0 
ENSG00000000419 317 

我需要的是为每个列添加列名,我的意思是第一列可以命名为“基因”,第二列应该以文件名命名

这是我到目前为止尝试过的,

首先我调用了所有文件,

 path       = '/user/home/files'  
files = os.listdir(path) 
 
files_txt  = [os.path.join(path,i) for i in files if i.endswith('count')] 
 
## Change it into dataframe 
dfs_patty = [pd.DataFrame.from_csv(x, sep='\t') for x in files_txt] 

50 个数据帧的 files_txt 看起来像这样

['/user/home/AE02_REL.count', 
 '/user/home/AE04_REL.count', 
 '/user/home/AE05_ID.count', 
 '/user/home/AE05_REL.count'....] 

在此之后,我尝试为以下内容添加两个标题名称或列名称

path       = '/home/user/dir/'  
 
file_names = [] 
data_frames = [] 
 
for filename in os.listdir(path):  
    name = os.path.splitext(filename)[0]  
    file_names.append(name)  
    df = pd.read_csv(path + filename, header=None,sep='\t')  
    df.rename(columns={1: name, 0:'Gene'}, inplace=True) 
    #df.columns = ["Gene",filename] 
    data_frames.append(df) 
combined = pd.concat(data_frames, axis=1) 

然后,

combined.head() 
 
Gene    AE02_REL    Gene    AE04_REL    Gene    AE05_ID Gene    AE05_REL    Gene    AE07_REL    ... Gene    PL08_REL    Gene    PL09_ID Gene    PL09_REL    Gene    PL10_ID Gene    PL10_REL 
0   ENSG00000000003 0   ENSG00000000003 1   ENSG00000000003 2   ENSG00000000003 16  ENSG00000000003 29  ... ENSG00000000003 2   ENSG00000000003 9   ENSG00000000003 1   ENSG00000000003 1   ENSG00000000003 4 
5 rows × 100 columns 

当我尝试删除重复的列时, 它抛出以下错误,

    Columns_dup_droped =combined.drop_duplicates(cols=['Gene']) 
    pandas/hashtable.pyx in pandas.hashtable.PyObjectHashTable.get_labels (pandas/hashtable.c:13820)() 
 
ValueError: Buffer has the wrong number of dimensions (expected 1, got 2) 

最后,我需要为每个文件这样的东西,例如,

==> PE07_ID.count <== 
ENSG00000000003 0 
ENSG00000000005 0 
ENSG00000000419 586 
ENSG00000000457 97 
ENSG00000000460 44 
ENSG00000001167 978 

应该是,

Gene  PE07_ID.count 
ENSG00000000003 0 
ENSG00000000005 0 
ENSG00000000419 586 
ENSG00000000457 97 
ENSG00000001167 978 

此外,Dataframe 的尾部有以“__”开头的行,我需要删除最后五行,

我试过以下,

combined.irow(slice(-5, None)) 

但它只是给他们最后一行..而我需要从整个数据帧中删除它们

所以对于所有 50 个数据帧..

非常感谢任何帮助。

请您参考如下方法:

如评论中所述,您需要引用完整路径名。

如果您将路径更改为:

path       = '/user/home/files/'  

你的循环到:

for filename in os.listdir(path): 
    name = os.path.splitext(filename)[0] 
    file_names.append(name) 
    df = pd.read_csv(path + filename, header=None) 
    df.columns = ["Gene",filename] 
    data_frames.append(df) 

如果读入 Dataframe 的数据有两列,它应该可以工作。