当前位置: 首页> 健康> 科研 > 煤棚网架多少钱一平方_太原网站设计排名_百度关键词排名提升工具_seo销售好做吗

煤棚网架多少钱一平方_太原网站设计排名_百度关键词排名提升工具_seo销售好做吗

时间:2025/7/10 9:00:22来源:https://blog.csdn.net/pljnb/article/details/147423659 浏览次数:0次
煤棚网架多少钱一平方_太原网站设计排名_百度关键词排名提升工具_seo销售好做吗

长短期记忆网络(LSTM)基本原理详解

一、LSTM核心思想

目标:解决传统RNN的梯度消失/爆炸问题,显式建模长期依赖关系
核心创新:引入细胞状态(Cell State)门控机制,通过三个门结构精确控制信息流动
LSTM结构图
在这里插入图片描述


二、网络结构分解

1. 核心组件(四个关键部分)

组件符号功能描述
遗忘门 f t f_t ft决定从细胞状态中丢弃哪些信息
输入门 i t i_t it确定新信息存入细胞状态的比例
候选值 C ~ t \tilde{C}_t C~t生成待存入细胞状态的新候选值
输出门 o t o_t ot控制细胞状态到隐藏状态的输出比例

2. 数学公式推导

遗忘门(Forget Gate)

f t = σ ( W f ⋅ [ h t − 1 , x t ] + b f ) f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) ft=σ(Wf[ht1,xt]+bf)

  • σ \sigma σ: Sigmoid函数(输出0-1间的遗忘比例)
输入门(Input Gate)

i t = σ ( W i ⋅ [ h t − 1 , x t ] + b i ) i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) it=σ(Wi[ht1,xt]+bi)

候选细胞状态

C ~ t = tanh ⁡ ( W C ⋅ [ h t − 1 , x t ] + b C ) \tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C) C~t=tanh(WC[ht1,xt]+bC)

细胞状态更新

C t = f t ⊙ C t − 1 + i t ⊙ C ~ t C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t Ct=ftCt1+itC~t

  • ⊙ \odot : Hadamard积(逐元素相乘)
输出门(Output Gate)

o t = σ ( W o ⋅ [ h t − 1 , x t ] + b o ) o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) ot=σ(Wo[ht1,xt]+bo)

隐藏状态计算

h t = o t ⊙ tanh ⁡ ( C t ) h_t = o_t \odot \tanh(C_t) ht=ottanh(Ct)


三、PyTorch实现

1. LSTM单元实现

import torch
import torch.nn as nnclass LSTMCell(nn.Module):def __init__(self, input_size, hidden_size):super().__init__()self.hidden_size = hidden_size# 合并计算四个门的参数矩阵self.W = nn.Linear(input_size + hidden_size, 4*hidden_size)def forward(self, x, state):# state = (h, c)h_prev, c_prev = state# 合并输入与隐藏状态combined = torch.cat((x, h_prev), dim=1)gates = self.W(combined)# 分割四个门计算结果f, i, o, g = torch.split(gates, self.hidden_size, dim=1)# 激活函数应用f = torch.sigmoid(f)  # 遗忘门i = torch.sigmoid(i)  # 输入门o = torch.sigmoid(o)  # 输出门g = torch.tanh(g)     # 候选值# 更新细胞状态c = f * c_prev + i * g# 更新隐藏状态h = o * torch.tanh(c)return (h, c)
关键字:煤棚网架多少钱一平方_太原网站设计排名_百度关键词排名提升工具_seo销售好做吗

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: