python之Tensorflow:动态进行字母预测

我正在尝试使用 Tensorflow 中的 LSTM 模块将时间 (t-1) 的单热字母预测用作时间 (t) 的下一个状态的输入。我正在做一些事情:

one_hot_dictionary = {0:np.array([1.,0.,0.]),1:np.array([0.,1.,0.]),\ 
                         2:np.array([0.,0.,1.])} 
state = init_state 
for time in xrange(sequence_length): 
    #run the cell 
    output, state = rnn_cell.cell(input,state) 
 
    #transform the output so they are of the one-hot letter dimension 
    transformed_val = tf.nn.xw_plus_b(output, W_o, b_o) 
 
    #take the softmax to normalize 
    softmax_val = tf.nn.softmax(transformed_val) 
 
    #then get the argmax of these to know what the predicted letter is 
    argmax_val = tf.argmax(softmax_val,1) 
 
    #finally, turn these back into one-hots with a number to numpy 
    #   array dictionary 
    input = [one_hot_dictionary[argmax_val[i]] for i in xrange(batch_size)] 

但是，我得到了错误:

input = [one_hot_dictionary[argmax_val[i]] for i in xrange(batch_size)] 
KeyError: <tensorflow.python.framework.ops.Tensor object at 0x7f772991ce50> 

有什么方法可以使用我的字典从 argmax 值到单热字母编码动态创建这些单热字母？

请您参考如下方法:

您可以通过多种方式实现这一目标。

对您的代码最直接的改编是使用 tf.gather()从单位矩阵中选择行的操作，如下所示:

# Build the matrix [[1., 0., 0.], [0., 1., 0.], [0., 0., 1.]]. 
identity_matrix = tf.diag(tf.ones([3])) 
 
for ...: 
 
  # Compute a vector of predicted letter indices. 
  argmax_val = ... 
 
  # For each element of `argmax_val`, select the corresponding row 
  # from `identity_matrix` and concatenate them into matrix. 
  input = tf.gather(identity_matrix, argmax_val) 

对于您展示的只有 3 个不同字母的情况，性能可能并不重要。但是，如果字母的数量(以及因此 identity_matrix 的大小)比批处理大小大得多，您可以通过构建 tf.SparseTensor 来实现更好的内存效率。并使用 tf.sparse_tensor_to_dense() op 构建输入。