我想在 python 中对具有有限但相当大的显式模板的一维数组执行操作——换句话说,[n] 处的输出取决于从 [t-N] 到 [t+N] 的输入].
我的处理代码没有很好地处理 nan 值,我处理这种情况的一种权宜之计是用一个行为良好的输入替换 nan 并在输出可能被“触及”的任何地方用 nan 覆盖输出"by a nan.
所以在输入 x 和输出 y 的伪代码中,我正在寻找一个执行此操作的函数:
y = where( is_nan_within_window(x, N), nan, x)
有没有一种有效的方法来做到这一点?也许是模板技巧?如果没有,是否有一个廉价的窗口操作可以将 x 中的 nans 放大到 y 中需要的 nans,以便我可以使用 np.where()?
谢谢。
请您参考如下方法:
您可以使用 np.where 找到 NaN 的索引,然后使用 np.add.outer 包含所有相邻索引:
import numpy as np
x = np.arange(100, dtype='float')
x[x % 13 == 0] = np.nan
print(x)
# [ nan 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. nan 14.
# 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. nan 27. 28. 29.
# 30. 31. 32. 33. 34. 35. 36. 37. 38. nan 40. 41. 42. 43. 44.
# 45. 46. 47. 48. 49. 50. 51. nan 53. 54. 55. 56. 57. 58. 59.
# 60. 61. 62. 63. 64. nan 66. 67. 68. 69. 70. 71. 72. 73. 74.
# 75. 76. 77. nan 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89.
# 90. nan 92. 93. 94. 95. 96. 97. 98. 99.]
N = 2
idx = np.where(np.isnan(x))[0]
shifts = np.arange(-N,N+1)
idx = np.clip(np.add.outer(shifts, idx), 0, len(x)-1).ravel()
y = x.copy()
y[idx] = np.nan
print(y)
产量
[ nan nan nan 3. 4. 5. 6. 7. 8. 9. 10. nan nan nan nan
nan 16. 17. 18. 19. 20. 21. 22. 23. nan nan nan nan nan 29.
30. 31. 32. 33. 34. 35. 36. nan nan nan nan nan 42. 43. 44.
45. 46. 47. 48. 49. nan nan nan nan nan 55. 56. 57. 58. 59.
60. 61. 62. nan nan nan nan nan 68. 69. 70. 71. 72. 73. 74.
75. nan nan nan nan nan 81. 82. 83. 84. 85. 86. 87. 88. nan
nan nan nan nan 94. 95. 96. 97. 98. 99.]
还有一种方法可以用 scipy.ndimage.generic_filter 来实现.它更具可读性,但为此目的要慢得多:
import numpy as np
import scipy.ndimage as ndimage
x = np.arange(100, dtype='float')
x[x % 13 == 0] = np.nan
print(x)
N = 2
def blank(window):
return np.nan if np.any(np.isnan(window)) else window[N]
y = ndimage.generic_filter(x, blank, size=(2*N+1,))
print(y)
这是比较第一种和第二种方法的基准:
def using_generic():
def blank(window):
return np.nan if np.any(np.isnan(window)) else window[N]
y = ndimage.generic_filter(x, blank, size=(2*N+1,))
return y
def using_where():
idx = np.where(np.isnan(x))[0]
shifts = np.arange(-N,N+1)
idx = np.clip(np.add.outer(shifts, idx), 0, len(x)-1).ravel()
y = x.copy()
y[idx] = np.nan
return y
In [89]: %timeit using_where()
100000 loops, best of 3: 15.1 µs per loop
In [90]: %timeit using_generic()
1000 loops, best of 3: 816 µs per loop
