Skip to main content
 首页 » 编程设计

python之Keras,为什么向模型添加层这么慢

2025年04月02日14kerrycode

我正在尝试在 Keras 中构建一个非常大的模型,其中包含 3 个 LSTM 层,每个层有 4096 个隐藏单元。以前我每层有 1024 个隐藏单元。该网络的编译时间是合理的。每层将在大约 1 到 2 秒内添加。现在模型每层有 4096 个隐藏单元,每层的添加时间约为 5 分钟。我认为奇怪的是,性能缓慢发生在对 model.add(LSTM...) 的三个调用期间,而不是在 model.compile(...)。我需要使用更大的网络,但是这个等待时间有点难以忍受。这对培训来说并不是那么糟糕,因为这会花费更长的时间,但我不想每次想要生成测试输出时都坐下来完成它。为什么添加要花这么多时间? add 不就是定义层,所有的时间都应该花在编译函数上吗?还有什么我可以做的吗?

print('Building Model') 
model = Sequential() 
model.add(LSTM(lstm_size, batch_input_shape = (batch_size, 1, len(bytes_set)), stateful = True, return_sequences = True, consume_less = consume_less)) 
model.add(Dropout(0.5)) 
print('Added LSTM_1') 
model.add(LSTM(lstm_size, stateful = True, return_sequences = True, consume_less = consume_less)) 
model.add(Dropout(0.5)) 
print('Added LSTM_2') 
model.add(LSTM(lstm_size, stateful = True, return_sequences = False, consume_less = consume_less)) 
model.add(Dropout(0.5)) 
print('Added LSTM_3') 
model.add(Dense(len(bytes_set), activation = 'softmax')) 
 
print('Compiling Model') 
model.compile(optimizer = SGD(lr = 0.3, momentum = 0.9, decay = 1e-5, nesterov = True), 
              loss = 'categorical_crossentropy',  
              metrics = ['accuracy']) 

这是我的.theanorc

[global] 
floatX = float32 
mode = FAST_RUN 
device = gpu 
exception_verbosity = high 
 
[nvcc] 
fastmath = 1 

这是我按要求提供的模型摘要。不幸的是,过去几个小时我一直在运行这个新版本,所以我不想做任何新的更改。该模型有 4 个 LSTM 层,每个层大小为 1500。

Layer (type)                       Output Shape        Param #     Connected to                      
==================================================================================================== 
lstm_1 (LSTM)                      (64, 1, 1500)       9774000     lstm_input_1[0][0]                
____________________________________________________________________________________________________ 
dropout_1 (Dropout)                (64, 1, 1500)       0           lstm_1[0][0]                      
____________________________________________________________________________________________________ 
lstm_2 (LSTM)                      (64, 1, 1500)       18006000    dropout_1[0][0]                   
____________________________________________________________________________________________________ 
dropout_2 (Dropout)                (64, 1, 1500)       0           lstm_2[0][0]                      
____________________________________________________________________________________________________ 
lstm_3 (LSTM)                      (64, 1, 1500)       18006000    dropout_2[0][0]                   
____________________________________________________________________________________________________ 
dropout_3 (Dropout)                (64, 1, 1500)       0           lstm_3[0][0]                      
____________________________________________________________________________________________________ 
lstm_4 (LSTM)                      (64, 1500)          18006000    dropout_3[0][0]                   
____________________________________________________________________________________________________ 
dropout_4 (Dropout)                (64, 1500)          0           lstm_4[0][0]                      
____________________________________________________________________________________________________ 
dense_1 (Dense)                    (64, 128)           192128      dropout_4[0][0]                   
==================================================================================================== 
Total params: 63984128 
____________________________________________________________________________________________________ 

请您参考如下方法:

它很慢,因为您正在尝试分配一个至少需要 0.5GB 内存的矩阵。 4096 单位 * 4097 权重已经是一个巨大的数字。 LSTM 具有与输入、输出和遗忘门相关的额外内部权重。如您所见,这加起来是一个巨大的数字。

更新 我用手机写下我的答案,我写的是 TB 而不是 GB。您可以通过添加以下内容轻松检查模型的大小:

print model.summary() 

在这两种情况下(1024 和 4096)。请在评论中分享您的结果,因为我很感兴趣:)