如果想跑大模型,那么我们需要有自己的资源依赖,巧妇难为无米之炊;
两个选择:单机&云服务;
这里主要介绍一下单机:
计算架八大件:个人计算机一般单卡或者双卡(GPU)
配置名称 | 要求 | 举例 | |
CPU | 高频、少核心。1一个GPU对应2~4CPU核数,新一代的i7; | CPU要与GPU适配 | core-i7-13700 、AMD 5900X |
GPU | 多核心,低频。内存性能满足模型使用,两张RTX3090足以,有钱可以使用RTX4090 | 必须英伟达系列:1 RTX3090*2; 2 4090; 3 A100, H100; | |
内存 | 1 建议是GPU内存的两倍;内存目前价格不贵32G才500人民币; 2 主板与内存是够搭配; 3 CPU、主板、与内存的频率是否搭配; | ||
主板 | 型号搭配:CPU、主板的型号要搭配起来; 性能搭配:高CPU高端主板; | Intel 系列主板:Z> B(中端) >H AMD 系列:X > B(中端)>A | |
散热器 | CUP温度高就会出现蓝屏,水冷> 风冷 | CPU散热的,水冷最好;CPU超频必须水冷配置,否则风冷即可 | 六铜管(CPU i5)\ 240水冷(i7) |
硬盘 | 接口类型:M.2 协议:NVME协议; PCle等级:4.0 | ||
电源 | 满足:CPU功耗+GPU功耗 * 2, 双卡买1000W以上的; | ||
风扇、机箱 | 1 机箱高于显卡30毫米; 2 电源与机箱尺寸; |
2W的预算可以拿下:
- GPU:3090双卡,涡轮版,48G; 6649*2 = 13K
- CPU:AMD5090X, 12核24线程;1K
- 64G内存+1T SSD数据硬盘; 0.8K+0.6K
- 电源:16000W单电源;
- 主板:华硕ROG X570-E;服务级PCE,支持PCIE; 2.8K
- 机箱:ROG太阳神601,ATX全塔式大机箱;1K;