embeding 层到底是什么

embedded/2024/12/25 13:27:58/
embending 的本质是 word2vec 大白话讲解word2vec到底在做些什么
那时候 博主还比较年轻 ,啃过托马斯马尔科夫的 word2vec 源码 ,那是一个三层神经网络,用C实现的 ,最近创业失败了 ,又去找工作,啥都不会,被一众 后辈嘲笑,这都快十年过去了,世上已前年的感觉,出来个什么大模型,本质也是nlp ,今天想看看 这个 大模型基础embeding ,想看看这个层到底是什么东西,直接上源码吧
import numpy as np
import torch.nn as nn
import torchembedding=torch.nn.Embedding(4,2)
#vocab_size:表示一共有多少个字需要embedding,
#emb_size:表示我们希望一个字向量的维度是多少。me=torch.tensor([0],dtype=torch.int64)
you=  torch.tensor([1],dtype=torch.int64)other=torch.tensor([3],dtype=torch.int64)print(embedding(me))
print(embedding(you))print(embedding(other))
tensor([[-0.2216,  0.1621]], grad_fn=<EmbeddingBackward0>)
tensor([[0.6301, 1.3375]], grad_fn=<EmbeddingBackward0>)
tensor([[-0.5222, -0.3898]], grad_fn=<EmbeddingBackward0>)
embedding.weight
Parameter containing:
tensor([[-0.2216,  0.1621],[ 0.6301,  1.3375],[-1.0004,  0.4421],[-0.5222, -0.3898]], requires_grad=True)
embeding 层 本质获取 层的权值矩阵的某一行,比如我们这个层的权重

( − 0.2216 , 0.1621 0.6301 , 1.3375 − 1.0004 , 0.4421 − 0.5222 , − 0.3898 ) \begin{pmatrix} -0.2216,& 0.1621\\ 0.6301,& 1.3375\\ -1.0004, &0.4421\\ -0.5222, &-0.3898\\ \end{pmatrix} 0.2216,0.6301,1.0004,0.5222,0.16211.33750.44210.3898

me=torch.tensor([0],dtype=torch.int64) 
print(embedding(me))

就是取第一行

tensor([[-0.2216,  0.1621]], grad_fn=<EmbeddingBackward0>)

http://www.ppmy.cn/embedded/148631.html

相关文章

小红书关键词搜索采集 | AI改写 | 无水印下载 | 多维表格 | 采集同步飞书

小红书关键词搜索采集 | AI改写 | 无水印下载 | 多维表格 | 采集同步飞书 一、下载影刀&#xff1a; https://www.winrobot360.com/share/activity?inviteUserUuid595634970300317698 二、加入应用市场 https://www.yingdao.com/share/accede/?inviteKeyb2d3f22a-fd6c-4a…

w113健身房管理系统

&#x1f64a;作者简介&#xff1a;多年一线开发工作经验&#xff0c;原创团队&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取&#xff0c;记得注明来意哦~&#x1f339;赠送计算机毕业设计600个选题excel文…

Python基础学习的资料

一、Python简介 Python是一种高级、解释型、通用的编程语言。它由Guido van Rossum于1989年开始开发&#xff0c;第一个公开发行版发行于1991年。 特点 简洁易读 Python代码简洁明了&#xff0c;采用缩进的方式来表示代码块&#xff0c;而不是像其他语言使用大括号。例如&…

一文掌握如何编写可重复执行的SQL

一文掌握如何编写可重复执行的SQL 文章已同步个人博客&#xff1a;一文掌握如何编写可重复执行的SQL 背景 先提出问题&#xff0c;这里的可重复执行是指什么&#xff1f;我们为什么要编写可重复执行的sql&#xff1f; 可重复执行是指一条sql重复多次执行都不会报错&#xf…

【网络云计算】2024第51周-每日【2024/12/20】小测-理论-周测

文章目录 1、软件RAID的常用级别和硬件RAID的区别&#xff0c;制作RAID生产环境有哪些注意事项2、交换机常用的技术有哪些3、NFS服务器如何结合LVM4、写两个if语句&#xff0c;判断文件和目录是否存在5、链路聚合和VRRP有哪些区别&#xff1f; 【网络云计算】2024第51周-每日【…

SSM 架构下 Vue 电脑测评系统:为电脑性能评估赋能

2相关技术 2.1 MYSQL数据库 MySQL是一个真正的多用户、多线程SQL数据库服务器。 是基于SQL的客户/服务器模式的关系数据库管理系统&#xff0c;它的有点有有功能强大、使用简单、管理方便、安全可靠性高、运行速度快、多线程、跨平台性、完全网络化、稳定性等&#xff0c;非常适…

DeepSeek-VL2部署指南

DeepSeek-VL2是一款力图学习和实现深度学习和视觉语言结合的工具包。本文将介绍如何在本地环境中安装和部署DeepSeek-VL2。 环境要求 在部署DeepSeek-VL2前&#xff0c;您需要确保以下环境充分满足要求&#xff1a; 确保硬件资源 处理器&#xff1a;最小8核字中处理器 内存…

C# 异步编程与多线程简析

引言 在现代软件开发中,异步编程和多线程是实现高性能、高响应性应用程序的关键技术。C# 提供了多种机制来支持异步编程和多线程,其中Thread、ThreadPool 和Task 是最为常用的三种。本文将对这三种机制进行简要分析,探讨它们的使用场景、优缺点以及如何在实际开发中选择合适…