Гайд
Как выбрать размер модели: 3B, 7–9B, 14B+
Для агентов важнее надёжный tool-use, чем красивый литературный стиль на синтетических бенчмарках.
Маленькие модели быстрые и дешёвые по памяти, но чаще ломают JSON и пропускают шаги плана. Их место — узкие задачи с жёстким шаблоном и сильной валидацией снаружи.
Класс 7–9B — практичный компромисс для локального агента на потребительском GPU. При хорошей instruct-настройке они тянут маршрутизацию инструментов и короткие рассуждения.
14B и выше дают запас по сложным инструкциям и многошаговым планам, но требуют VRAM и терпения. Если модель едва влезает, агентный цикл станет невыносимо медленным.
Выбирайте по сценарию: код, документы, общий ассистент. Универсальная «одна модель на всё» редко оптимальна локально — лучше две специализированные, чем одна перегруженная.