使用Pytorch实现NLP深度学习
Word Embeddings: Encoding Lexical Semantics
在pytorch里面实现word embedding是通过一个函数来实现的:nn.Embedding
在深度学习1这篇博客中讨论了word embeding层到底怎么实现的,
评论中问道,word embedding具体怎么做的,然后楼主做了猜测,我们可以验证一下。
我们里可以使用文章中的代码debug一下
一步步debug,进入fuctional函数的时候I,我们可以看到一句话
input (LongTensor): Tensor containing indices into the embedding matrix
我们输入的input是embedding matrix的索引,那embedding matrix是什么呢?紧接着有句话:
我们可以回答
yes
词嵌入是随机初始化,模型训练完成之后得到的