Гайд
Железо для локальных агентов: RAM и VRAM
Сколько памяти нужно модели, эмбеддингам, индексу и самому агентному рантайму одновременно.
Дата12 октября 2025 г.
ТемаЖелезо
Уровеньстарт
Чтение10 мин
VRAM определяет комфорт генерации. Если веса не помещаются, начинается выгрузка на CPU/диск — агент с десятками шагов превращается в ожидание.
Системная RAM нужна не только модели. Векторный индекс, браузерные вкладки, IDE и Docker тоже едят память. Закладывайте запас 30–40% сверх «веса модели из карточки».
Для старта агентной лаборатории часто хватает 16–24 ГБ унифицированной памяти или видеокарты на 8–12 ГБ с умеренной квантовкой. Дальше масштабируйте по боли, а не по желанию «как у облака».
Держите отдельный чеклист: модель, эмбеддинги, reranker, база, логи. Агент — это система процессов, а не один файл .gguf.