LLM Assist.
Агенты на локальной LLM: практика без облака
Практические заметки про Ollama, RAG, tool calling и железо — без личного кабинета и без отправки ваших данных в чужой API.
Журнал
Локальные агенты на практике
От выбора модели и квантовки до песочницы, памяти и оценки качества. 27 материалов для сборки своего контура.
Что такое агент на локальной LLM
Модель сама по себе отвечает на текст. Агент — это цикл: план, инструмент, результат, следующий шаг.
Ollama: быстрый старт для локальных моделей
Один бинарник, список моделей и HTTP API. Удобная точка входа, если хотите агента без ручной сборки llama.cpp.
LM Studio: GUI и локальный сервер
Удобный интерфейс для выбора GGUF, просмотра промптов и поднятия локального API без терминала.
llama.cpp: контроль и производительность
Когда нужен тонкий контроль над бэкендом, слоями и сборкой под конкретное железо.
Как выбрать размер модели: 3B, 7–9B, 14B+
Для агентов важнее надёжный tool-use, чем красивый литературный стиль на синтетических бенчмарках.
Железо для локальных агентов: RAM и VRAM
Сколько памяти нужно модели, эмбеддингам, индексу и самому агентному рантайму одновременно.
Квантование GGUF: Q4, Q5, Q8 на практике
Как уменьшить модель, не убив способность следовать схеме инструментов.
GPU против CPU: когда хватает процессора
CPU-инференс жив для фоновых задач. Интерактивный агент почти всегда хочет ускоритель.
Tool calling локально: схемы и валидация
Модель предлагает вызов, ваш код проверяет аргументы и только потом исполняет действие.
RAG на своей машине: индекс и ответы
Эмбеддинги, чанки, поиск и генерация без отправки документов в облако.
Локальные эмбеддинги для агентов
Как выбрать эмбеддер под русский и смешанный код+текст без облачных API.
Память агента: краткосрочная и долгая
Контекст окна — не память. Нужны саммари, профили и внешнее хранилище фактов.
Песочница и безопасность локального агента
Модель не злонамеренна по умолчанию, но инструменты опасны. Ограничивайте поверхность атаки.
Приватность: зачем держать LLM офлайн
Код, медицина, финансы и личные дневники — случаи, где локальный контур окупается.
Open WebUI как фронт к локальным моделям
Удобный чат, коллекции документов и подключение к Ollama или OpenAI-совместимому серверу.
Локальные агенты для кода
Редактирование репозитория, тесты и диффы под контролем — без отправки исходников в чужой SaaS.
Aider и локальная модель: парное программирование
Терминальный помощник, который работает с git и диффами. Подключение к локальному endpoint.
Continue и IDE: автодополнение рядом с агентом
Локальный ассистент в редакторе: чат по файлу, объяснения и рефакторинг без SaaS.
Мультиагентные схемы на одном ПК
Роли researcher / coder / reviewer. Когда это помогает, а когда плодит хаос.
Паттерны промптов для локальных агентов
Цель, ограничения, формат, критерий остановки — каркас, который стабилизирует слабые модели.
MCP-серверы рядом с локальной LLM
Стандартизированные инструменты: файлы, браузер, базы. Как подключать аккуратно.
Агент вопросов по документам
Договоры, регламенты, внутренние PDF — ответы с цитатами и без утечки в облако.
Whisper + локальная LLM: голос в задачи
Расшифровка встреч на своей машине и превращение текста в action items агентом.
Как оценивать качество локального агента
Набор золотых задач, доля успешных tool-call и регресс после смены модели.
Типовые поломки агентов и как их лечить
Зацикливание, выдуманные инструменты, игнор ошибок среды, переполнение контекста.
Офлайн-рабочие процессы на каждый день
Заметки, рефакторинг, подготовка писем и разбор логов — без сети и без SaaS.
Цена локального контура против облака
Железо, электричество и время инженера — честный расчёт, когда локальность выгодна.