安装

环境：windows11
显卡：NVIDIA GeForce RTX 3090 version 526.98 显存 24G

pip install torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118

Text generation web UI

https://github.com/oobabooga/text-generation-webui

下载 oobabooga-windows.zip 并解压G:\llm\oobabooga_windows\，直接运行start_window.bat

中途遇到报错

按照提示安装Visual C++ 14.0 ,安装地址在报错内容中有

error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools/

下载运行如下图，重点安装C++ CMake工具

备用：不用上述方法，其实可以安装几个依赖包解决，还没验证是不是这样可以解决

conda install libpython m2w64-toolchain -c msys2

修复上面问题后，把text-generation-webui删除掉，重新运行start_windows.bat, 这一步回到最后让你选择下载模型，我们关掉这个窗口，手动下载，往下看

加载不同的模型

huggingface 搜索模型页面 https://huggingface.co/models?sort=downloads

可以在启动的webui中切换不同模型，命令行效果如下图

vicuna 7b

Vicuna 的代码基于 Stanford Alpaca ，并额外支持多轮对话。 并且使用了与斯坦福羊驼（Stanford Alpaca）类似的超参数。

LLaMA-7b 模型不能直接使用(点击我查看详情)，需要经历如下步骤

1. LLaMA-7b 模型权重格式转换
2. vicuna-7b-delta-v1.1 和 转换后的模型合并
   

下载模型

# 下载这两个模型到任意目录# 下载已经转换的llama权重
https://huggingface.co/decapoda-research/llama-7b-hf
# vicuna-7b
https://huggingface.co/lmsys/vicuna-7b-delta-v1.1

权重合并，生成vicuna-7b-all-v1.1 文件夹，最后复制到text-generation-webui/models模型目录下

# 安装fastchat
pip install fastchat
# vicuna权重合并
python -m fastchat.model.apply_delta \--base llama-7b-hf \--delta vicuna-7b-delta-v1.1 \--target vicuna-7b-all-v1.1 

在目录oobabooga运行start_windows.bat

vicuna-13b-GPTQ-4bit-128g（资源够的，可以直接vicuna-13b）

GPTQ这种一般直接加载就可以使用了，不像前面那么麻烦，用这个版本就是穷，什么东西自己百度好了

模型地址 https://huggingface.co/anon8231489123/vicuna-13b-GPTQ-4bit-128g

双击运行cmd_windows.bat文件

# 进入 text-generation-webui 目录
cd text-generation-webui
# 下载模型
python download-model.py

输入L

输入non8231489123/vicuna-13b-GPTQ-4bit-128g不用输入域名就会自动下载模型了，保存在models文件

耐心等待文件下载，然后关闭窗口，

在目录oobabooga运行start_windows.bat，到这里就结束了

chatglm6b

方法如上，下载模型就可以直接在目录oobabooga运行start_windows.bat，不再重复

https://huggingface.co/THUDM/chatglm-6b