Гайд
GPU против CPU: когда хватает процессора
CPU-инференс жив для фоновых задач. Интерактивный агент почти всегда хочет ускоритель.
Дата4 октября 2025 г.
ТемаЖелезо
Уровеньстарт
Чтение8 мин
На CPU можно гонять небольшие модели для пакетной обработки ночью: суммаризация папки писем, переиндексация заметок. Для диалога с инструментами в реальном времени задержки раздражают.
Гибридный offload спасает, если VRAM мало: часть слоёв на GPU, часть на RAM. Настройте так, чтобы не было постоянного thrashing — лучше чуть меньше слоёв, но стабильная скорость.
Измеряйте токены в секунду именно на вашем агентном промпте с tool schema, а не на пустом «hello». Системный промпт и JSON-схема заметно меняют профиль нагрузки.
Если агент отвечает дольше, чем вы читаете его план, пользователи перестанут ему доверять. Скорость — часть UX локального ассистента.