1,最近看网上minigpt4很火,下载下来试一下,把碰到问题记录一下。
2 访问 GitHub - Vision-CAIR/MiniGPT-4: MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models
下载代码到 centos服务上。
3,麻烦点主要在于,需要下载一些大模型,根据gitbub上的教程还要进行转化才能转化成最终使用的权重。
我在哔哩上看到有个大哥已经包装好的,就直接下载下来了。
Mini GPT-4 7B 整合包 12G显存可用 支持中文 支持图文对话_哔哩哔哩_bilibili
4,不过这个大哥是windows的需要转化到linux上。
- 修改两处配置文件,这个官网有比较详细的介绍,一个是 小羊驼的模型权重,一个是图片对文本的checkpoint。
- 启动 python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0
我的会报如下错误:
Traceback (most recent call last):File "/home/buma/codes/MiniGPT-4-main/demo.py", line 60, in <module>model = model_cls.from_config(model_config).to('cuda:{}'.format(args.gpu_id))File "/home/buma/codes/MiniGPT-4-main/minigpt4/models/mini_gpt4.py", line 243, in from_configmodel = cls(File "/home/buma/codes/MiniGPT-4-main/minigpt4/models/mini_gpt4.py", line 45, in __init__self.tokenizer = self.init_tokenizer()File "/home/buma/codes/MiniGPT-4-main/minigpt4/models/blip2.py", line 31, in init_tokenizertokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
看了一下是因为用到了 bert-base-uncased 这个模型,而且机器上没有缓存,所以会去 huggingface上下载,但是由于网络原因,而且文件也比较大 2G。所以出错了。
5,把bert-base-uncased下载到本地 修改 MiniGPT-4-main/minigpt4/models/blip2.py,其中有两处引用,改成本地路径就可以了。
6,欣赏一下启动成功,不知道小蛋糕涂抹橡胶是什么鬼 !