VisualGLM训练缺失latest文件问题解决

news/2024/11/24 6:39:43/

清华已经公布了VisualGLM 模型,图像预测也取得了比较好的效果,但是我在调试微调的过程遇到不少问题,这里记录一下缺失latest问题解决(ValueError: could not find the metadata file ../latest, please)

修正后的代码可以参考这个git

GitHub - qjzcy/Visualglm-image-to-text: 补充了一些Visualglm缺少的文件,可以对Visualglm进行训练,实例中是对人脸做了面相的识别

——————————————————————————————————————————

如下所示,训练的时候模型会提示我们,找不到latest这个文件。(ValueError: could not find the metadata file ../latest, please check --load)

ValueError: could not find the metadata file ../visualglm-6b/latest, please check --load

一,可不可以用其它方法跳开

查看代码可以看到,报错的地方是这段代码

 既然这种调用model的方式不行,那我们用其它调用modle的方法能解决这个问题么?

调用LLM model我们一般有下面几种方式

AutoModel.from_pretrained ,FineTuneVisualGLMModel.from_pretrained() 和 VisualGLMModel.from_pretrained()

 这几种种调用的区别在于它们返回的模型类型不同。

1,AutoModel 类型的模型是 Hugging Face Transformers 库中的一个通用模型类型,用于加载任意预训练模型。该模型类型可以自动检测预训练模型的类型,并返回相应类型的模型对象。但是,AutoModel 类型的模型目前还不能识别 VisualGLMModel 模型,因为 VisualGLMModel 不是 Hugging Face Transformers 库中的标准模型类型。VisualGLM训练的时候我们强行把调用model的类改为AutoModel,会导致错误,比如输入的时候无法识别图像的输入,因为其它类型的模型不支持 image 这个关键字参数,这个方案不行

2,VisualGLMModel.from_pretrained() 方法返回一个 VisualGLMModel 类型的对象,该对象包含了预训练模型的参数。这个方法通常用于加载预训练模型。

3,FineTuneVisualGLMModel.from_pretrained() 方法返回一个 FineTuneVisualGLMModel 类型的对象,是 VisualGLMModel 类型的子类,它添加了一些额外的属性和方法,用于支持 fine-tune。例如,FineTuneVisualGLMModel 类型可能包含了 fine-tune 的相关参数,例如学习率、批次大小等。此外,FineTuneVisualGLMModel 类型可能还包含了一些额外的方法,例如 train() 方法,用于继续训练模型。该对象包含了预训练模型的参数和 fine-tune 的相关参数。这个方法通常用于加载 fine-tune 后的模型,以便进行推理或者继续训练。

这两个方法都会遇到刚刚的问题,会找你要latest,所以这个问题躲是躲不掉了。我们再看看这个文件是干啥用的。

二,latest这个文件是做啥用的

我们在其它finetune的文件夹里找到这个文件,打开后可以看到是,这个文件包含的是fintune迭代信息

再查看源码,会看到在from_pretrained这个方法里,会用到它生成的路径,以及路径下的文件,无法绕开。

既然无法跳开,那我们就找找看能不能找到这个文件,在网上找到个项目提供了这个文件

项目链接

GitHub - qjzcy/Visualglm-image-to-text: 补充了一些Visualglm缺少的文件,可以对Visualglm进行训练,实例中是对人脸做了面相的识别

进入checkpoints文件夹把文件拷入对应目录,代码如下问题解决!!

文件获取代码如下 

cd checkpoints/

wget https://huggingface.co/wangrongsheng/XrayGLM-300/resolve/main/latest

wget https://huggingface.co/wangrongsheng/XrayGLM-300/resolve/main/model_config.json

mkdir 300

cd 300/

wget https://huggingface.co/wangrongsheng/XrayGLM-300/resolve/main/300/mp_rank_00_model_states.pt


http://www.ppmy.cn/news/276820.html

相关文章

什么是中继器

中继器(Repeater)工作于OSI的物理层,是局域网上所有节点的中心,它的作用是放大信号,补偿信号衰减,支持远距离的通信。 中继器是一个小发明,它设计的目的是给你的网络信号以推动,以使…

高颜值水杯推荐 还有人不知道我都会伤心的

女孩子们总是热衷于收集一些颜值高的水杯,用它喝水感觉心情都会变好。那请你们一定要知道这个品牌!是最近我发现了的国产品牌的!水杯颜值都很高,而且品质也都挺好的。我是颜值控,所以选择杯子的时候我一定先看款式&…

好喝的阿拉伯咖啡Gahwa

咖啡在阿拉伯饮品名单上占有一席之地。阿拉伯咖啡又称Gahwa,是由阿拉伯语单词قهوة音译而来,其融合了当地特色,是阿拉伯国家一种别具风格的饮品,你能在其中嗅到正宗的当地味道,本土的独特魅力也尽显其中。 咖啡的来…

学校计算机桌子尺寸,家用电脑桌设计尺寸一般是多大

答:如果这个柜子是放衣服的,那么它的(前后)深度可考虑在55公分~60公分范围,太大没用处,太小了则衣服会顶着门的 答:安徽富邦装饰为你解答:一般的家庭都是把电视放在客厅里的,电视柜的大小要根据客厅的面积而定,这样比例…

小型电梯尺寸_家用微型电梯尺寸大约多大

1 您好。很乐意为您解决这个问题,厨房具按照用途分为切片、砍骨、斩切、水果等不同类型。通常情况下切片刃口度数在15左右,较薄,易于切片;砍骨刃口在25以上,刃口厚,重量足,方便砍斩;…

最近大火的 NFT 数字藏品是什么?

作者:腾讯云至信链负责人王乐庆 在谈区块链和 NFT 之前,需要先说说「元宇宙」。 什么是元宇宙? 一千个读者眼中就有一千个哈姆雷特,元宇宙也是如此,下面讲讲我个人对元宇宙的理解,元宇宙的英文名称叫 Metav…

keychron凭什么高效学习快速码字

大家好,我是安然无虞。 目录 写在前面 笔记本自带键盘为什么还需要机械键盘? 1.手感好,更稳定 补充:段落感 2.结实&耐用&实惠 3.轴体丰富 青轴 茶轴 红轴 4.时尚极致轻薄 5.RGB灯光炫酷 使用机械键盘需要注意…

2022软件测试的真实面试题30+在此

经过仔细查看发现了两个很重要的问题。 第一,网上流传的面试题的答案并不能保证百分百正确。也就是说各位朋友辛辛苦苦花了很多时间准备的面试题,很可能最后的答案却错误的。 第二,网上流传的面试题有的存在过时性。这就造成了一种悲剧&…