Гайд
Что такое агент на локальной LLM
Модель сама по себе отвечает на текст. Агент — это цикл: план, инструмент, результат, следующий шаг.
Локальная LLM — это модель, которая крутится на вашем компьютере или домашнем сервере. Она не обязана уходить в чужой API: данные остаются у вас, а задержки зависят от вашего железа, а не от очереди в облаке.
Агент добавляет к модели «руки»: вызовы инструментов, чтение файлов, поиск по базе, запуск команд в песочнице. Цикл простой — модель предлагает действие, среда выполняет, ответ возвращается в контекст, пока задача не закрыта или не упёрлась в лимит.
Важно не путать чат с агентом. В чате вы правите каждый ход. В агентном сценарии вы задаёте цель и ограничения, а модель сама выбирает последовательность шагов внутри разрешённого набора инструментов.
На локальной машине агент особенно полезен там, где нельзя отправлять код, договоры или личные заметки наружу. Цена — нужно подобрать модель под VRAM/RAM и заранее продумать безопасность инструментов.