多模态大模型学习(一)

devtools/2024/10/19 5:28:43/

参考:https://www.bilibili.com/video/BV1kT411o7a6?p=2&spm_id_from=pageDriver&vd_source=156234c72054035c149dcb072202e6be
在这里插入图片描述
余弦相似度,让正样本内积趋近于1,负样本趋近于-1。度量学习。N特别大时,负样本远大于正样本,对负样本进行采样。如何采样?采集难度比较大的负样本,与正样本相似度高的负样本。两个向量相乘就是相似度。排序,取最高的作为负样本。
在这里插入图片描述
文生图
在这里插入图片描述
模型训练:图片变向量,向量变成图片。
在这里插入图片描述
得到stage1的模型之后。
在这里插入图片描述
训练gpt模型就是训练gpt从描述生成token399,就是stage2的过程。
第一个模型生成的token给第二个模型进行训练。
在这里插入图片描述


http://www.ppmy.cn/devtools/117785.html

相关文章

如何基于Flink CDC与OceanBase构建实时数仓,实现简化链路,高效排查

本文作者:阿里云Flink SQL负责人,伍翀,Apache Flink PMC Member & Committer 众多数据领域的专业人士都很熟悉Apache Flink,它作为流式计算引擎,流批一体,其核心在于其强大的分布式流数据处理能力&…

【机器学习导引】ch3-线性模型

线性回归 梯度 在数学中,对于函数 f ( x 1 , … , x m ) f(x_1, \ldots, x_m) f(x1​,…,xm​) 在点 a ( a 1 , … , a m ) a (a_1, \ldots, a_m) a(a1​,…,am​) 处的梯度被定义为: ∇ f ( a ) ( ∂ f ∂ x 1 ( a ) , … , ∂ f ∂ x m ( a ) )…

华为NAT ALG技术的实现

双向NAT技术:经过防火墙的2报文源IP地址和目的IP地址都同时被转换,外网发送报文给内网服务器,先转换目的IP地址,然后符合安全策略后,在替换源IP地址,然后将记录写入防火墙会话表,并发送出报文&a…

11. Map和Set

一、二叉搜索树 1. 概念 二叉搜索树又称二叉排序树,它或者是一棵空树,或者是具有以下性质的二叉树: 若它的左子树不为空,则左子树上所有节点的值都小于根节点的值若它的右子树不为空,则右子树上所有节点的值都大于根…

set和map

目录 一、概述 1.set常用成员函数 insert插入 erase删除 ​编辑 lower_bound和upper_bound equal_range 2.map常用的成员函数 operator[ ]重载 3.set以及map的返回值 二、map和set的模拟实现 第一个难点 第二个难点 三、迭代器设计 operator !和operat…

怎麼在Ubuntu上設置全局代理

在Ubuntu系統中,設置全局代理可以幫助用戶在整個系統範圍內應用代理配置,而不僅僅是某些特定的應用程式。本文將詳細介紹如何在Ubuntu上進行全局代理設置。 全局代理的好處包括但不限於: 統一管理:只需一次設置,全系…

【学习笔记】网络设备(华为交换机)基础知识7——查看硬件信息 ① display device 命令详解

提示:学习如何查看华为交换机的硬件信息,包含 display device 命令详解 一、前期准备 提示:下面所有学习内容都是基于以下条件完成的 条件1.已经可以正常访问交换机的命令行接口 Console口本地访问教程参考 ① :使用第三方工具…

根据软件架构设计与评估的叙述开发一套机器学习应用开发平台

案例 阅读以下关于软件架构设计与评估的叙述,回答问题 1和问题 2。 【说明】 某公司拟开发一套机器学习应用开发平台,支持用户使用浏览器在线进行基于机器学习的智能应用开发活动。该平台的核心应用场景是用户通过拖拽算法组件灵活定义机器学习流程&…