Skip to main content
 首页 » 编程设计

python之使用神经网络的多元线性回归中的系数值

2025年01月19日13zengkefu

假设我有一个大小为 n = 100 的输入数据集,m = 5 个特征,其中最后一个特征是因变量,其余四个是自变量。这是一个回归问题,我打算使用神经网络来解决。超参数优化后发现这个特定问题有一个最佳模型,它有 1 个隐藏层和 2 个神经元,当然还有一个只有 1 个神经元的输出层(输出 y_hat)。

一切顺利,模型正则化以避免过度拟合,预测误差也显示出令人满意的结果。此外,与常规多线性回归技术相比,10 折交叉验证分数要好得多。所以,是的,我想让这个模型成为最好的模型。

问题是当通过隐藏层的数据维数减少时,我们现在如何计算系数值。

我想到的解决方案是向后移动并从输出层求解方程。那就是如果 C1 , B1 , B2分别是最后一层和隐藏层的输出,

C1 = c_0 + c_1*B1 + c_2*B2 ;

B1 = b1_0 + b1_1*x1 + b1_2*x2 + b1_3*x3 + b1_4*x4 ;

B2 = b2_0 + b2_1*x1 + b2_2*x2 + b2_3*x3 + b2_4*x4 ;

其中,c_0 , b1_0 , b2_0分别是输出神经元和隐藏神经元的截距,

c_1 , c_2是输出层方程的斜率;

b1_1 , b1_2 , b1_3 , b1_4是第一个隐藏神经元的斜率和

b2_1 , b2_2 , b2_3 , b2_4是第二个隐藏神经元的斜率。

现在要找到变量的实际系数,我们可以用给定形式替换值吗?

Coefficients = c_0 + c_1*(b1_0 + b1_1 + b1_2 + b1_3 + b1_4) + c_2*(b2_0 + b2_1 + b2_2 + b2_3 + b2_4) ,解决后给我们:

Coefficients = c_0 + c_1*b1_0 + c_2*b2_0 + c_1*b1_1 + c_1*b1_2 + c_1*b1_3 + c_1*b1_4 + c_2*b2_1 + c_2*b2_2 + c_2*b2_3 + c_2*b2_4

地点:

c_0 + c_1*b1_0 + c_2*b2_0 = 最终方程的截距

c_1*b1_1 + c_2*b2_1 = 变量 x1 的系数

c_1*b1_2 + c_2*b2_2 = 变量 x2 的系数

c_1*b1_3 + c_2*b2_3 = 变量 x3 的系数

c_1*b1_4 + c_2*b2_4 = 变量 x4 的系数

请告诉我我是否正确,是否有道理?

请您参考如下方法:

不确定我是否理解...我相信您只想要模型的权重?

#this is just because some model's count the input layer and others don't 
layerCount = len(model.layers) 
lastLayer = layerCount - 1; 
hiddenLayer = layerCount -2;  
 
#getting the weights: 
hiddenWeights = model.layers[hiddenLayer].get_weights() 
lastWeights = model.layers[lastLayer].get_weights() 

上面的两个变量都是带有[slopes, intercepts] 的列表,其中slopes 和intercepts 将是numpy 数组。

通过预测获取值:

对于一般值而不是每层的值,您还可以创建这些输入并获得它们的输出:

testInput = np.array([[0,0,0,0],[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]]) 
 
outputs = model.predict(testInput).reshape((5,)) 

现在你有:

intercepts = outputs[0] 
slope1 = outputs[1] - outputs[0] 
slope2 = outputs[2] - outputs[0] 
slope3 = outputs[3] - outputs[0] 
slope4 = outputs[4] - outputs[0] 

请注意,这仅在您确定变量本身之间没有相乘的模型中才有意义。