Лучшая локальная модель на 16 ГБ
Для RTX 4060 Ti (16 GB), RTX 4080 Super (16 GB), RTX 5060 Ti (16 GB), RTX 5070 Ti (16 GB), RTX 5080 (16 GB), Radeon RX 9070 XT (16 GB), Mac, 24 GB и Mac, 32 GB. Метод
Отставание от лидеров23 мес.Впервые достигла o1, дек. 2024 г.
Модели, которые помещаются в 16 ГБ
Топ 10#МодельИндексФорматПамятьДешевле всего по APIСамая низкая цена вывода за 1M.
Лучшая модель по объёму памяти
Сначала самый высокий индексПамятьСамая умнаяИндексФорматОтставаниеТот же по API
Метод
- Модели: модели с индексом, открытыми весами, официальным репозиторием на Hugging Face и средней или высокой уверенностью. Одна строка на один набор весов.
- Нужная память: веса при данном числе бит на вес (4-bit 4.85, 8-bit 8.5, 16-bit 16) плюс 5% и 1 ГБ на короткий контекст.
- Формат: наибольшее число бит, которое помещается. Индекс указан для полной модели; 4-bit копия может набрать немного меньше.
- Общая память (Mac, DGX Spark, Ryzen AI Max): модели достаётся около двух третей памяти до 36 ГБ и около трёх четвертей выше.
- Отставание от лидеров: месяцы с первого релиза модели с тем же индексом или выше, среди моделей со средней или высокой уверенностью.
- Тот же по API: самая низкая средняя цена (3 части ввода : 1 часть вывода) за 1M токенов при том же индексе или выше, среди тех же моделей.