python之如何在 tensorflow 中沿宽度和高度维度交错 4D 张量

或者:在tensorflow中分散多 channel 图像的不同相位...

我的问题如下:
我有“图像”，所有尺寸都相同，在某种意义上对应于目标图像的不同阶段。我想用 tf 功能重建那个成熟的图像。
事实证明这比我最初预期的要简单得多，我将非常感谢任何帮助!

更详细的说明如下:
在 numpy 中，可以通过简单的赋值轻松交错图像 -

import numpy as np 
 
im = np.random.random((1, 8, 8, 2)) 
 
phased_im_01 = im[:, ::2, 1::2, :] 
phased_im_00 = im[:, ::2, ::2, :] 
phased_im_10 = im[:, 1::2, ::2, :] 
phased_im_11 = im[:, 1::2, 1::2, :] 
 
rebuild_im = np.zeros((1, 8, 8, 2)) 
rebuild_im[:, ::2, ::2, :] = phased_im_00 
rebuild_im[:, ::2, 1::2, :] = phased_im_01 
rebuild_im[:, 1::2, ::2, :] = phased_im_10 
rebuild_im[:, 1::2, 1::2, :] = phased_im_11 
 
print(np.all(rebuild_im == im)) 

但众所周知，赋值在 tf 中是不行的，通常使用 tf.concat 和 tf.reshape 之类的东西(对于非常简单的情况)或 tf.scatter_nd(对于更复杂的情况)。我没有成功使用我尝试过的许多事情中的任何一个来实现上述 numpy 功能的等价物(比如首先将张量置换为具有宽度维度，尝试 scatter_nd，然后置换回来，这是我之前成功使用过的一种方法其他问题)，或者关于 SO 的任何解决方案(比如堆叠和 reshape 自己致死)。

需要说明的是，我的实际用例在每个图像维度中有一个未知的批量大小、数千个 channel 和 4 个阶段。但是对于上面的简单玩具示例，我只需要一个可行的解决方案；泛化在我身上 ;-)
感谢那里的任何帮助者，(抱歉，我只能描述我的努力而不能展示它们。它们只是一堆不成功的错误，退化为可怕的反复试验代码片段，直到放弃并来到这里寻求帮助，所以没有重大损失)。

可以根据需要添加说明。

请您参考如下方法:

要在 TensorFlow 中重现 numpy 示例，请尝试 depth_to_space:

import tensorflow as tf 
 
im = tf.random_normal((1, 8, 8, 2)) 
 
phased_im_01 = im[:, ::2, 1::2, :] 
phased_im_00 = im[:, ::2, ::2, :] 
phased_im_10 = im[:, 1::2, ::2, :] 
phased_im_11 = im[:, 1::2, 1::2, :] 
 
phases = tf.concat( 
    (phased_im_00, phased_im_01, phased_im_10, phased_im_11), axis=3) 
rebuild_im = tf.nn.depth_to_space(phases, block_size=2, data_format='NHWC') 
 
dif = tf.reduce_sum(rebuild_im - im)  # 0.0 

由 ShlomiF 友情建议，更一般的例子是:

import numpy as np 
import tensorflow as tf 
tf.enable_eager_execution() 
 
num_of_channels = 20 
h = w = 256 
num_of_phases = 4 
im = np.random.random((1, h, w, num_of_channels)) 
 
phase_ims = [] 
for i in range(num_of_phases): 
    for j in range(num_of_phases): 
        phase_ims.append(im[:, i::num_of_phases, j::num_of_phases, :]) 
 
all_phases = tf.concat(phase_ims, axis=3) 
rebuild_im = tf.depth_to_space(all_phases, block_size=num_of_phases, data_format='NHWC') 
 
diff = tf.reduce_sum(rebuild_im - im) 
print(np.asarray(diff))  # --> 0.0 

据我所知，depth_to_space 或周期性改组的想法来自 this paper .您可能会在那里找到更多详细信息和可视化。