我从数据透视操作中得到了这个数据框,但我不知道如何处理 pandas 中的“嵌套”或多索引数据框。
Dataframe 看起来像下面这个例子,只是行数比这里显示的多。 [编辑:添加了一个额外的“chr18”行以提供更具说明性的示例。这也需要过滤掉]
mmc chrom start stop experiment isdone strand countL countR
3 chr18 2044696 2044716 hj-10_b_10 FALSE - 12 12
2060000 2061000 hj-10_b_10 FALSE - 162 162
chr3 95359191 95359212 hj-10_b_10 FALSE - 2497 2497
hj-9_b_9 TRUE - 3476 3477
hj1_100_3 TRUE - 2351 2351
4 chr19 598940 598961 hj-10_b_10 FALSE - 494 494
hj1_100_3*1 TRUE - 211 211
我想从此 DataFrame 中过滤掉在实验级别中具有多个条目的所有“chrom”条目,即选择所有 chrom 并开始,停止在实验索引级别中具有多个条目的列。
我想要的结果数据框(注意它没有 mmc : 3 chrom : 18 条目,因为这两个条目每个只有一个实验“hj-10_b_10”,因此没有被多次复制)。
mmc chrom start stop experiment isdone strand countL countR
3 chr3 95359191 95359212 hj-10_b_10 FALSE - 2497 2497
hj-9_b_9 TRUE - 3476 3477
hj1_100_3 TRUE - 2351 2351
4 chr19 598940 598961 hj-10_b_10 FALSE - 494 494
hj1_100_3*1 TRUE - 211 211
我可以在 pandas 之外做这件事,但因为我想学习 pandas 的方式。
我如何从一个庞大的 Dataframe 中选择所有超过特定索引级别的特定计数的条目。
更新
您可以使用此代码创建 MultiIndex DataFrame
import pandas
from pandas import DataFrame
index_tuples_mmc= [3,3,3,3,3,4,4]
index_tuples_chrom = ["chr18","chr18","chr3","chr3","chr3","chr19","chr19"]
index_tuples_start = ["2044696","2060000","95359191","95359191","95359191","598940","598940"]
index_tuples_stop = ["2044716" ,"2061000","95359212", "95359212" , "95359212" ,"598961" , "598961"]
index_tuples_experiment = ["hj-10_b_10","hj-10_b_10","hj-10_b_10","hj-9_b_9","hj1_100_3","hj-10_b_10","hj1_100_3*1"]
index_tuples_idone = ["FALSE","FALSE","FALSE","TRUE","TRUE","FALSE","TRUE"]
index_tuples_strand = ["-","-","-","-","-","-","-"]
arrays = [index_tuples_mmc,index_tuples_chrom,index_tuples_start,\
index_tuples_stop,index_tuples_experiment,index_tuples_idone,\
index_tuples_strand]
tuples = list(zip(*arrays))
index = pandas.MultiIndex.from_tuples(tuples,names=["mmc","chrom",\
"start","stop","experiment","isdone",\
"strand"])
df2 = DataFrame([12,162,2497,3476,2351,494,211],index=index,columns=["countL"])
df2["countR"]=df2["countL"]
请您参考如下方法:
我想你可以使用 groupby通过二级 MultiIndex chrom 与 filter :
print df
experiment isdone strand countL countR
mmc chrom start stop
3 chr18 2044696 2044716 hj-10_b_10 False - 12 12
chr3 95359191 95359212 hj-10_b_10 False - 2497 2497
95359212 hj-9_b_9 True - 3476 3477
95359212 hj1_100_3 True - 2351 2351
4 chr19 598940 598961 hj-10_b_10 False - 494 494
598961 hj1_100_3*1 True - 211 211
print df.groupby(level=['chrom']).filter(lambda x: len(x) > 1)
experiment isdone strand countL countR
mmc chrom start stop
3 chr3 95359191 95359212 hj-10_b_10 False - 2497 2497
95359212 hj-9_b_9 True - 3476 3477
95359212 hj1_100_3 True - 2351 2351
4 chr19 598940 598961 hj-10_b_10 False - 494 494
598961 hj1_100_3*1 True - 211 211
按新数据编辑:
我认为您需要添加到 groupby第一级和第二级,所以:
import pandas
dfnew= pandas.read_excel("sample_data_hj.xls")
dfpivotnew = pandas.pivot_table(dfnew, index=["mmc","chrom","start","end","experiment","is_bidirectional"],\
values=["segment_quality_reads","segment_reads",])
print dfpivotnew.groupby(level=['mmc','chrom']).filter(lambda y : len(y) > 3)
mmc chrom start end experiment is_bidirectional
0 chr2 13924 14585 hj-10_b_10 True 635103
29212 29790 hj-9_b_9 True 475119
61877 62241 hj1_104_3*1 True 60455
68398 68852 hj1_104_3*2 True 18625
1 chr15 1578 1906 hj-10_b_10 True 21702
4554 5155 hj-9_b_9 True 26673
37960 38789 hj1_104_3*2 True 753
88306 88800 hj1_104_3*1 True 2967
6 chr1 65952 66932 hj1_104_3*2 False 1
66084 67057 hj-9_b_9 False 1
77010 77843 hj-9_b_9 False 262
86297 87142 hj1_104_3*1 False 3
chr2 29084 29705 hj1_104_3*2 False 1756
39924 40755 hj1_104_3*2 False 1
90411 90940 hj1_104_3*1 False 2656
92804 93655 hj1_104_3*2 False 2215
7 chr1 647 1092 hj1_104_3*2 False 217
6598 7093 hj-10_b_10 False 1454
7998 8475 hj1_104_3*2 False 11
13056 13879 hj1_104_3*1 False 42
24918 25781 hj1_104_3*2 False 13
28406 29135 hj1_104_3*2 False 7140
28464 29459 hj-10_b_10 False 1298
34484 35221 hj1_104_3*2 False 769
38353 39040 hj-9_b_9 False 128
42462 43186 hj1_104_3*2 False 2
50676 51317 hj1_104_3*1 False 7
51434 52271 hj1_104_3*2 False 13
53634 54486 hj1_104_3*2 False 6
54574 55350 hj1_104_3*1 False 224
... ...
16 chr8 52118 52641 hj1_104_3*2 False 2198
52469 52827 hj-9_b_9 False 93
62446 62869 hj1_104_3*1 False 2632
63765 64709 hj-9_b_9 False 480
94773 95603 hj1_104_3*2 False 6
95316 95740 hj1_104_3*2 False 69
chr9 7442 7875 hj1_104_3*2 False 56
17897 18332 hj-9_b_9 False 2
33998 34656 hj1_104_3*2 False 1
77111 77690 hj1_104_3*2 False 1198
88270 88715 hj-9_b_9 False 1
93281 94063 hj1_104_3*1 False 837
17 chr10 56436 56997 hj1_104_3*2 False 2
61154 61464 hj1_104_3*1 False 1
70244 71170 hj1_104_3*1 False 2
96948 97775 hj-9_b_9 False 4
chr3 868 1837 hj1_104_3*1 False 2
53355 53743 hj-9_b_9 False 1063
54418 54858 hj1_104_3*2 False 499
84641 85546 hj1_104_3*1 False 1
chr6 22374 22924 hj1_104_3*2 False 6
27347 27928 hj1_104_3*2 False 71
58950 59394 hj1_104_3*2 False 1712
73141 73481 hj1_104_3*2 False 1487
chr8 10611 11483 hj-9_b_9 False 196
11139 11799 hj1_104_3*2 False 479
36694 37343 hj1_104_3*2 False 254
56915 57742 hj1_104_3*2 False 76
62405 63164 hj1_104_3*2 False 182
72352 72823 hj1_104_3*2 False 1
segment_reads
mmc chrom start end experiment is_bidirectional
0 chr2 13924 14585 hj-10_b_10 True 642400
29212 29790 hj-9_b_9 True 486464
61877 62241 hj1_104_3*1 True 61237
68398 68852 hj1_104_3*2 True 22056
1 chr15 1578 1906 hj-10_b_10 True 21732
4554 5155 hj-9_b_9 True 26676
37960 38789 hj1_104_3*2 True 753
88306 88800 hj1_104_3*1 True 2969
6 chr1 65952 66932 hj1_104_3*2 False 1
66084 67057 hj-9_b_9 False 1
77010 77843 hj-9_b_9 False 716
86297 87142 hj1_104_3*1 False 3
chr2 29084 29705 hj1_104_3*2 False 1756
39924 40755 hj1_104_3*2 False 1
90411 90940 hj1_104_3*1 False 2656
92804 93655 hj1_104_3*2 False 2215
7 chr1 647 1092 hj1_104_3*2 False 217
6598 7093 hj-10_b_10 False 1454
7998 8475 hj1_104_3*2 False 11
13056 13879 hj1_104_3*1 False 78
24918 25781 hj1_104_3*2 False 18
28406 29135 hj1_104_3*2 False 7147
28464 29459 hj-10_b_10 False 1298
34484 35221 hj1_104_3*2 False 769
38353 39040 hj-9_b_9 False 713
42462 43186 hj1_104_3*2 False 3
50676 51317 hj1_104_3*1 False 7
51434 52271 hj1_104_3*2 False 729
53634 54486 hj1_104_3*2 False 6
54574 55350 hj1_104_3*1 False 224
... ...
16 chr8 52118 52641 hj1_104_3*2 False 2198
52469 52827 hj-9_b_9 False 93
62446 62869 hj1_104_3*1 False 2632
63765 64709 hj-9_b_9 False 480
94773 95603 hj1_104_3*2 False 6
95316 95740 hj1_104_3*2 False 69
chr9 7442 7875 hj1_104_3*2 False 56
17897 18332 hj-9_b_9 False 2
33998 34656 hj1_104_3*2 False 192
77111 77690 hj1_104_3*2 False 1198
88270 88715 hj-9_b_9 False 1
93281 94063 hj1_104_3*1 False 837
17 chr10 56436 56997 hj1_104_3*2 False 2
61154 61464 hj1_104_3*1 False 1
70244 71170 hj1_104_3*1 False 12
96948 97775 hj-9_b_9 False 4
chr3 868 1837 hj1_104_3*1 False 2
53355 53743 hj-9_b_9 False 1063
54418 54858 hj1_104_3*2 False 499
84641 85546 hj1_104_3*1 False 24
chr6 22374 22924 hj1_104_3*2 False 6
27347 27928 hj1_104_3*2 False 71
58950 59394 hj1_104_3*2 False 1712
73141 73481 hj1_104_3*2 False 1487
chr8 10611 11483 hj-9_b_9 False 238
11139 11799 hj1_104_3*2 False 479
36694 37343 hj1_104_3*2 False 254
56915 57742 hj1_104_3*2 False 76
62405 63164 hj1_104_3*2 False 182
72352 72823 hj1_104_3*2 False 1
[10330 rows x 2 columns]
