关于pytorch--embedding的问题

news/2024/11/20 12:27:59/

使用Pytorch实现NLP深度学习

Word Embeddings: Encoding Lexical Semantics

在pytorch里面实现word embedding是通过一个函数来实现的:nn.Embedding

在深度学习1这篇博客中讨论了word embeding层到底怎么实现的,

在这里插入图片描述

评论中问道,word embedding具体怎么做的,然后楼主做了猜测,我们可以验证一下。

我们里可以使用文章中的代码debug一下
在这里插入图片描述

一步步debug,进入fuctional函数的时候I,我们可以看到一句话
在这里插入图片描述
input (LongTensor): Tensor containing indices into the embedding matrix

我们输入的input是embedding matrix的索引,那embedding matrix是什么呢?紧接着有句话:

在这里插入图片描述我们可以回答
在这里插入图片描述
yes

词嵌入是随机初始化,模型训练完成之后得到的
在这里插入图片描述


http://www.ppmy.cn/news/605658.html

相关文章

pytorch中的transpose()

维度的相互调换 运行结果 batch_es和batch_ee输出的结果是一样的。原始的transpose参数(默认的参数)为(0,1,2),这个转置相当于将第一个坐标与第二坐标进行了互换。

LeetCode中等题之整数反转

题目 给你一个 32 位的有符号整数 x ,返回将 x 中的数字部分反转后的结果。 如果反转后整数超过 32 位的有符号整数的范围 [−231, 231 − 1] ,就返回 0。 假设环境不允许存储 64 位整数(有符号或无符号)。 示例 1: 输…

view(*args)改变张量的大小和形状_pytorch reshape numpy

20201227 这个方法是在不改变数据内容的情况下,改变一个数组的格式,参数及返回值,官网介绍: a:数组–需要处理的数据 newshape:新的格式–整数或整数数组,如(2,3)表示2行3列,新的…

LeetCode中等题之特殊等价字符串组

题目 给你一个字符串数组 words。 一步操作中,你可以交换字符串 words[i] 的任意两个偶数下标对应的字符或任意两个奇数下标对应的字符。 对两个字符串 words[i] 和 words[j] 而言,如果经过任意次数的操作,words[i] words[j] ,那…

gelu

博客园 首页 新随笔 联系 管理 订阅 <div class"blogStats"><!--done-->随笔- 75 文章- 0 评论- 40 </div><!--end: blogStats --></div><!--end: navigator 博客导航栏 --><div id"post_detail">[…

Docker暴露端口服务器公网IP无法访问问题排查

目录一、未打开安全组策略二、防火墙开放端口未设置三、没有启用IP_FORWARD环境&#xff1a;阿里云CentOS7 服务器 问题&#xff1a;当启动一个容器向外部暴露端口时&#xff0c;服务器公网IP:端口号无法访问 docker run -d --name nginx01 -p 90:80 nginx一、未打开安全组策略…

LeetCode简单题之写字符串需要的行数

题目 我们要把给定的字符串 S 从左到右写到每一行上&#xff0c;每一行的最大宽度为100个单位&#xff0c;如果我们在写某个字母的时候会使这行超过了100 个单位&#xff0c;那么我们应该把这个字母写到下一行。我们给定了一个数组 widths &#xff0c;这个数组 widths[0] 代表…

LeetCode简单题之字符串转化后的各位数字之和

题目 给你一个由小写字母组成的字符串 s &#xff0c;以及一个整数 k 。 首先&#xff0c;用字母在字母表中的位置替换该字母&#xff0c;将 s 转化 为一个整数&#xff08;也就是&#xff0c;‘a’ 用 1 替换&#xff0c;‘b’ 用 2 替换&#xff0c;… ‘z’ 用 26 替换&…