Гайд
Ollama: быстрый старт для локальных моделей
Один бинарник, список моделей и HTTP API. Удобная точка входа, если хотите агента без ручной сборки llama.cpp.
Ollama упрощает жизнь: скачали клиент, подтянули модель одной командой, получили OpenAI-совместимый эндпоинт на localhost. Для экспериментов с агентами этого часто достаточно.
Начните с небольшой instruct-модели, которая помещается в вашу видеопамять с запасом. Слишком крупная модель на слабом GPU будет свопить и «думать» минутами — агентный цикл от этого разваливается психологически и по таймаутам.
Для агентов важны стабильный JSON и tool calling. Смотрите карточки моделей: не все одинаково держат формат инструментов. Иногда лучше чуть меньшая модель с хорошим следованием инструкциям, чем гигант, который плывёт в схемах.
Держите Ollama как сервис разработки: отдельный профиль моделей для кода, отдельный для длинного RAG. Не смешивайте всё в одной сессии без очистки контекста — агент начнёт путать задачи.