Гайд
Квантование GGUF: Q4, Q5, Q8 на практике
Как уменьшить модель, не убив способность следовать схеме инструментов.
Дата8 октября 2025 г.
ТемаМодели
Уровеньсредний
Чтение11 мин
Квантование сжимает веса. Q4 быстрее и легче, Q8 ближе к исходному качеству, но тяжелее. Для агентов проверяйте не «красоту ответа», а долю успешных вызовов инструментов.
Имеет смысл гонять один и тот же набор задач: извлечь поля, вызвать поиск, отредактировать файл по правилам. Там, где Q4 начинает выдумывать имена функций, поднимайтесь на Q5/Q6.
Не все семейства моделей одинаково переносят жёсткую квантовку. Сохраняйте заметки: какая сборка на каком железе дала стабильный JSON.
Квантовка — не магия бесплатного качества. Иногда лучше меньшая модель в Q8, чем огромная в агрессивном Q3, которая «умная в теории» и бесполезная в агентном цикле.