Лучшая локальная модель на 12 ГБ
Для RTX 3060 (12 GB), RTX 4070 (12 GB) и RTX 5070 (12 GB). Метод
Отставание от лидеров23 мес.Впервые достигла o1, дек. 2024 г.
Модели, которые помещаются в 12 ГБ
Топ 9#МодельИндексФорматПамятьДешевле всего по APIСамая низкая цена вывода за 1M.
Лучшая модель по объёму памяти
Сначала самый высокий индексПамятьСамая умнаяИндексФорматОтставаниеТот же по API
Метод
- Модели: модели с индексом, открытыми весами, официальным репозиторием на Hugging Face и средней или высокой уверенностью. Одна строка на один набор весов.
- Нужная память: веса при данном числе бит на вес (4-bit 4.85, 8-bit 8.5, 16-bit 16) плюс 5% и 1 ГБ на короткий контекст.
- Формат: наибольшее число бит, которое помещается. Индекс указан для полной модели; 4-bit копия может набрать немного меньше.
- Общая память (Mac, DGX Spark, Ryzen AI Max): модели достаётся около двух третей памяти до 36 ГБ и около трёх четвертей выше.
- Отставание от лидеров: месяцы с первого релиза модели с тем же индексом или выше, среди моделей со средней или высокой уверенностью.
- Тот же по API: самая низкая средняя цена (3 части ввода : 1 часть вывода) за 1M токенов при том же индексе или выше, среди тех же моделей.