当前位置: 首页> 健康> 科研 > 淄博网站建设高端网络_建设网站的企业是什么_seo营销_百度关键词自然排名优化公司

淄博网站建设高端网络_建设网站的企业是什么_seo营销_百度关键词自然排名优化公司

时间:2025/7/10 17:16:10来源:https://blog.csdn.net/weixin_47373639/article/details/143321333 浏览次数:0次
淄博网站建设高端网络_建设网站的企业是什么_seo营销_百度关键词自然排名优化公司

文章目录

1. SimpleRNN

学习视频:https://www.youtube.com/watch?v=Cc4ENs6BHQw&t=0s

  • 对于时序数据,输入输出都不固定,需要many-one、many-many模型,RNN很适合时序数据
    整个RNN 只有一个参数A
    在这里插入图片描述

1.1 h t h_t ht计算

在这里插入图片描述

1.2 激活函数

为什么需要双曲正切函数作为激活函数?
假设输入为0,当矩阵A最大特征值=0.9,则 h 100 h_{100} h100每个元素近似为0;当矩阵A最大特征值=1.2,则 h 100 h_{100} h100每个元素都很大,状态向量会爆炸
在这里插入图片描述

  • 训练参数
    在这里插入图片描述

2. SimpleRNN+Self-Attention

学习链接:https://www.youtube.com/watch?v=Vr4UNt7X6Gw&t=0s

2.1 状态更新

对于SimpleRNN,新的状态 h i + 1 h_{i+1} hi+1 h i h_{i} hi以及 x i + 1 x_{i+1} xi+1有关
引入Self-Attention后,新的状态 h i + 1 h_{i+1} hi+1 c i c_{i} ci以及 x i + 1 x_{i+1} xi+1有关。

每一轮更新状态之前,都会用context vector c看一遍之前所有状态,解决遗忘问题
$c$是已有状态h的加权平均,初始$h_0$为全0向量,可以忽略

在这里插入图片描述

2.2 权重 α α α

用当前状态 h i h_i hi与已有状态作对比,包括与 h i h_i hi自己做对比,得到 i 个 α i个α iα
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

关键字:淄博网站建设高端网络_建设网站的企业是什么_seo营销_百度关键词自然排名优化公司

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: