python之如何在 tensorflow 2.0 中使用预制的密集层进行训练

我正在重写与 TF 2.0 兼容的代码。不幸的是，该网站提供的几乎每个示例都使用了 keras API。但是，我想用原始 tensorflow 函数编写代码。

在某些时候，在训练过程中计算和应用梯度的新方法看起来像这样(代码从 here 窃取):

# Optimization process.  
def run_optimization(x, y): 
    # Wrap computation inside a GradientTape for automatic differentiation. 
    with tf.GradientTape() as g: 
        pred = logistic_regression(x) 
        loss = cross_entropy(pred, y) 
 
    # Compute gradients. 
    gradients = g.gradient(loss, [W, b]) 
 
    # Update W and b following gradients. 
    optimizer.apply_gradients(zip(gradients, [W, b])) 

这里引起问题的是我必须指定可训练变量。在这种特殊情况下，这很容易，因为 W 和 b 是手动创建的。通过使用 model.trainable_variables 使用 keras 模型也很容易。

在我的模型中，我使用了 tensorflow 提供的密集层，例如tf.keras.layers.Dense。在 tensorflow 1.x 中为这个用例提供的函数是 tf.trainable_variables()，但它不再存在了。

如何访问它们的内部权重以将它们传递给 GradientTape？

请您参考如下方法:

所有 Keras 层都有一个属性 trainable_variables，您可以使用它来访问它们。还有 trainable_weights 但在大多数情况下两者是相同的。请注意，在构建图层之前，这实际上是一个空列表，您可以通过调用 layer.build(input_shape) 来完成。或者，将在第一次对输入调用时构建一个层。