我想使用 verify_grad 函数,但出现“'TensorVariable' 对象不可调用”形式的错误。
theano.gradient.verify_grad(fun, pt, n_tests=2, rng=None, eps=None, out_type=None, abs_tol=None, rel_tol=None, mode=None, cast_to_output_type=False)
在文档中它说 fun 是“一个 Python 函数,它将 Theano 变量作为输入,并返回一个 Theano 变量。例如,一个具有单个输出的 Op 实例。”
我已经阅读了文档中的图形结构部分,并且我认为我了解什么是操作节点,但显然我不了解。
例如如果我有两个 TensorVariables x 和 y 并且我想取它们的乘积,那么 * 是操作节点,对吗?但是如果我声明 z=x*y,那么 z 又是一个 TensorVariable,对吗?
那么有什么方法可以定义一个操作,例如一个负对数似然函数来评估该函数梯度的正确性?或者有没有其他方法可以在 theano 中为您构建的函数获取数值梯度?
请您参考如下方法:
下面是一个正在使用的 verify_grad 的例子:
import numpy
import theano
def something_complicated(x, y):
z = x * y
return z
x_value = numpy.array([[1., 2., 3.], [4., 5., 6.]], dtype=theano.config.floatX)
y_value = numpy.array([[7., 8., 9.], [10., 11., 12.]], dtype=theano.config.floatX)
theano.gradient.verify_grad(something_complicated, (x_value, y_value), rng=numpy.random)
根据需要,something_complicated 是“一个 Python 函数,它将 Theano 变量作为输入 [x 和 y 在这种情况下],并返回一个 Theano 变量 [z 在这种情况下]。”
您可以在 something_complicated 中构造任何符号表达式,例如负对数似然的计算。
一个 Theano 操作可以是任何东西,只要是
- 它是可调用的(如果对象实现了特殊的
__call__function 则它们是可调用的) - 当它被调用时,它把所有的输入都当作 Theano 变量
- 当它被调用时,它只返回 Theano 变量。
something_complicated 显然满足了这些要求。由于是 Python 函数,它是可调用的,它假定 x 和 y 是 Theano 变量,它的返回值 z 也是一个 Theano变量。
