12 GB 显存最佳本地大模型
适用于 RTX 3060 (12 GB), RTX 4070 (12 GB) 和 RTX 5070 (12 GB)。 方法
落后前沿23 个月最早达到 o1, 2024年12月
可放进 12 GB 的模型
前 9#模型指数格式内存最便宜 API每 1M 输出的最低价格。
各档内存的最佳模型
按指数从高到低内存最强可用指数格式落后同等 API
方法
- 模型：有指数、开放权重、在 Hugging Face 有官方仓库且置信度为中或高的模型。同一套权重只列一行。
- 所需内存：按格式的每权重位数计算权重（4-bit 4.85，8-bit 8.5，16-bit 16），再加 5% 和 1 GB 用于短上下文。
- 格式：能放下的最高位数。指数针对完整模型；4-bit 版本得分可能略低。
- 统一内存（Mac、DGX Spark、Ryzen AI Max）：36 GB 及以下约三分之二给模型，以上约四分之三。
- 落后前沿：从首个达到相同或更高指数的模型发布至今的月数，仅计中或高置信度模型。
- 同等 API：相同或更高指数的模型中最低的混合价格（输入 3 : 输出 1），每 1M token，范围同上。