当前位置: 首页> 教育> 幼教 > Trm理论 3(ELMo)

Trm理论 3(ELMo)

时间:2025/7/11 20:08:27来源:https://blog.csdn.net/2301_81989837/article/details/141875485 浏览次数:0次

LSTM模型

在这里插入图片描述
如图,LSTM模型是rnn模型的改良版,通过ft来选择性的保留上一次得到的信息

ELMo模型(双向LSTM)

ELMo模型是对word2vec的改良,改良了word2vec的二义性
在这里插入图片描述
对比上下两图,可以发现,WE对预测词的上下文仅仅只是拼接,所以不能很好的解决二义性的问题,ELMO区分了上下文,可以通过上下文来判断预测词所代表的含义
T1是对这个词的预测,左边框传给T1上文信息,右边框传给T1下文信息,通过这样的方式改善了因为词的二义性造成的问题

训练好之后如何使用

在这里插入图片描述
如图所示,和WE训练完的Q矩阵一样,先得到独热向量,用ELMO得到的三层进行处理,最后进行剩余操作。注:LSTM层可以有多个,可以继续堆叠。

学习视频连接如下

该文章是学习b站up主水论文的程序员的笔记,链接如下可自行学习

https://www.bilibili.com/video/BV1mZ4y1q7J2/?spm_id_from=333.788&vd_source=2910693b31a0847b17a3d12d76d0e3f1

关键字:Trm理论 3(ELMo)

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: