我有一个组织为
0 1 2 3 4 5 6 7 8 9 10 11
0 42 2012 106 1200 -0.325 0.576 -0.295 31.73 14.80 1096 99.3 55
1 42 2012 106 1200 -0.372 0.499 -0.236 31.74 14.80 1097 99.3 56
2 42 2012 106 1200 -0.372 0.456 -0.212 31.74 14.80 1096 99.3 57
3 42 2012 106 1200 -0.312 0.736 -0.095 31.70 14.81 1097 99.3 58
4 42 2012 106 1200 -0.352 0.707 -0.035 31.66 14.78 1094 99.3 59
5 42 2012 106 1200 -0.518 0.662 -0.152 31.66 14.79 1094 99.3 60
6 42 2012 106 1200 -0.516 0.531 -0.249 31.78 14.79 1094 99.3 61
第 1、2 和 3 列分别是年份、儒略日和 %hour%minute。我正在尝试将这些列解析为日期时间索引,但我似乎做不到。
我已经尝试了一些东西,最有希望的一个来自 this answer ,所以我写了(假设 fname 是文件的路径)
dateparse= lambda x: datetime.datetime.strptime(x, '%Y %j %H%M')
pd.read_csv(fname, header=None, parse_dates=[[1,2,3]], date_parser=dateparse)
但这给了我错误
TypeError: <lambda>() takes exactly 1 argument (3 given)
这表明 pandas 显然没有像我预期的那样连接第 1,2 和 3 列然后应用解析器函数。如果我只用
读取 csvpd.read_csv(fname, header=None, parse_dates=[[1,2,3]])
DATA=data.set_index('1_2_3')
然后我得到
0 4 5 6 7 8 9 10 11
1_2_3
2012 106 1200 42 -0.325 0.576 -0.295 31.73 14.80 1096 99.3 55
2012 106 1200 42 -0.372 0.499 -0.236 31.74 14.80 1097 99.3 56
2012 106 1200 42 -0.372 0.456 -0.212 31.74 14.80 1096 99.3 57
2012 106 1200 42 -0.312 0.736 -0.095 31.70 14.81 1097 99.3 58
2012 106 1200 42 -0.352 0.707 -0.035 31.66 14.78 1094 99.3 59
2012 106 1200 42 -0.518 0.662 -0.152 31.66 14.79 1094 99.3 60
2012 106 1200 42 -0.516 0.531 -0.249 31.78 14.79 1094 99.3 61
但索引不被视为日期,它是一个字符串:
DATA.index
Index([u'2012 106 1200', u'2012 106 1200', u'2012 106 1200', u'2012 106 1200', ...], dtype='object')
有什么想法吗?
请您参考如下方法:
像那样使用日期解析器效率会很低。除非您有 ISO 日期,否则通常最好在之后进行解析。
但它就在这里。关键是 date_parser 采用与您传递的相同数量的参数(在本例中为 3)。
In [12]: dateparse = lambda a,b,c: datetime.datetime.strptime(' '.join([a,b,c]), '%Y %j %H%M')
In [13]: pd.read_csv(StringIO(data),
header=None,
parse_dates=[[2,3,4]],
sep='\s+',skiprows=1,
date_parser=dateparse)
Out[13]:
2_3_4 0 1 5 6 7 8 9 10 11 12
0 2012-04-15 12:00:00 0 42 -0.325 0.576 -0.295 31.73 14.80 1096 99.3 55
1 2012-04-15 12:00:00 1 42 -0.372 0.499 -0.236 31.74 14.80 1097 99.3 56
2 2012-04-15 12:00:00 2 42 -0.372 0.456 -0.212 31.74 14.80 1096 99.3 57
3 2012-04-15 12:00:00 3 42 -0.312 0.736 -0.095 31.70 14.81 1097 99.3 58
4 2012-04-15 12:00:00 4 42 -0.352 0.707 -0.035 31.66 14.78 1094 99.3 59
5 2012-04-15 12:00:00 5 42 -0.518 0.662 -0.152 31.66 14.79 1094 99.3 60
6 2012-04-15 12:00:00 6 42 -0.516 0.531 -0.249 31.78 14.79 1094 99.3 61
还有一些方法
In [45]: df = read_csv(StringIO(data),sep='\s+')
In [46]: df
Out[46]:
0 1 2 3 4 5 6 7 8 9 10 11
0 42 2012 106 1200 -0.325 0.576 -0.295 31.73 14.80 1096 99.3 55
1 42 2012 106 1200 -0.372 0.499 -0.236 31.74 14.80 1097 99.3 56
2 42 2012 106 1200 -0.372 0.456 -0.212 31.74 14.80 1096 99.3 57
3 42 2012 106 1200 -0.312 0.736 -0.095 31.70 14.81 1097 99.3 58
4 42 2012 106 1200 -0.352 0.707 -0.035 31.66 14.78 1094 99.3 59
5 42 2012 106 1200 -0.518 0.662 -0.152 31.66 14.79 1094 99.3 60
6 42 2012 106 1200 -0.516 0.531 -0.249 31.78 14.79 1094 99.3 61
强制返回字符串,连接和解析。
In [47]: pd.to_datetime(df['1'].astype(str) + ' ' + df['2'].astype(str) + ' ' + df['3'].astype(str), format='%Y %j %H%M')
Out[47]:
0 2012-04-15 12:00:00
1 2012-04-15 12:00:00
2 2012-04-15 12:00:00
3 2012-04-15 12:00:00
4 2012-04-15 12:00:00
5 2012-04-15 12:00:00
6 2012-04-15 12:00:00
dtype: datetime64[ns]
另一种方法。
In [48]: pd.to_datetime(df['1'],format='%Y') + pd.to_timedelta(df['2'],unit='d') + pd.to_timedelta(df['3']/100,unit='h') + pd.to_timedelta(df['3']%100,unit='m') - Timedelta('1d')
Out[48]:
0 2012-04-15 12:00:00
1 2012-04-15 12:00:00
2 2012-04-15 12:00:00
3 2012-04-15 12:00:00
4 2012-04-15 12:00:00
5 2012-04-15 12:00:00
6 2012-04-15 12:00:00
dtype: datetime64[ns]
