Skip to main content
 首页 » 编程设计

python之稀疏矩阵乘法的theano梯度

2025年05月04日12freeliver54

我正在尝试在 Theano 中实现一个具有稀疏输入的自动编码器。

我让稀疏自动编码器使用平方误差成本函数。但是,如果我想应用包含矩阵乘法的交叉熵误差,则会出现以下错误:

AsTensorError: ('Variable type field must be a TensorType.', SparseVariable{csr,float64}, Sparse[float64, csr]) 

我在 http://nbviewer.ipython.org/urls/gist.githubusercontent.com/peterroelants/4946cdbf189c5e75f2b7/raw/2ee7d3e533a4a6ac2707a2ffa310b81a86e70afd/gistfile1.json 上传了一个示例笔记本来说明问题.

我将问题提炼为矩阵乘法 cost = T.sum(x * T.log(z))。这在密集的情况下有效 [参见单元格 2],但在稀疏的情况下会出错 [参见单元格 3]。请注意,将稀疏情况 [cell 3] 中的此成本函数更改为平方误差 (cost = T.sum((x-z)**2)) 将产生有效结果。

谁能指出我做错了什么?并向我展示如何让具有交叉熵误差的稀疏输入自动编码器在 Theano 中工作?

请您参考如下方法:

您不能对稀疏变量使用 T.* 函数。在这种情况下,您可以使用:

theano.sparse.sp_sum((x * T.log(z)) 

\edit Theano 中的这个差异修复修复了这个崩溃:

diff --git a/theano/sparse/basic.py b/theano/sparse/basic.py 
index 4620c5a..a352b9a 100644 
--- a/theano/sparse/basic.py 
+++ b/theano/sparse/basic.py 
@@ -2244,7 +2244,7 @@ class MulSD(gof.op.Op): 
     def grad(self, (x, y), (gz,)): 
         assert _is_sparse_variable(x) and _is_dense_variable(y) 
         assert _is_sparse_variable(gz) 
-        return y * gz, x * gz 
+        return y * gz, dense_from_sparse(x * gz) 
 
     def infer_shape(self, node, shapes): 
         return [shapes[0]] 

本周我将尝试将修复程序合并到 Theano 中。