Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM

Дата публикации: 07-07-2026 14:38:15

Как квантование ломает function-calling у LLM? Собрал бенчмарк QuantCall, протестировав модели на 4 ГБ VRAM. Главный инсайт: устойчивость к квантам зависит не от размера, а от семейства. Меньшая Qwen3-0.6B стабильно генерирует валидный JSON даже на Q4, а более крупная Llama-3.2-1B деградирует уже на Q8, путая типы данных. Также GBNF-грамматики не спасают от ошибок, но заметно замедляют инференс. Читать далее

Схожие новости

#	Наименование новости	Тональность	Информативность	Дата публикации
1	Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front	0	7	27-06-2026
2	Токенная диета для ИИ-агентов: Caveman, Ponytail и Headroom	0	7	07-07-2026
3	[Перевод] Структуры данных на практике. Глава 16: Фильтры Блума и вероятностные структуры данных	0	7	28-06-2026
4	In-memory база врёт: 5 расхождений с продовой БД	0	7	07-07-2026
5	Как заставить LLM выбирать осмысленные фрагменты из часовой расшифровки: почему «найди интересные моменты» не работает	0	5	28-06-2026
6	Как квантовый компьютер изменит нашу жизнь: без формул и заумных ...	5	7	28-06-2026
7	Как желание быстрее читать чужой код превратилось в войну с недетерминизмом LLM	0	5	28-06-2026
8	✅Ключевое отличие: обычный ИИ решает задачи методом проб и ошибок ...	7	8	28-06-2026
9	X. Главное происходит здесь.	0	8	27-06-2026

Классификация: Наука. Схожих патентов: 0. Схожих новостей: 9. Тональность: 0. Информативность: 7. Источник: habr.com.