Гайд
llama.cpp: контроль и производительность
Когда нужен тонкий контроль над бэкендом, слоями и сборкой под конкретное железо.
llama.cpp — фундамент многих локальных стеков. Если Ollama кажется «чёрным ящиком», прямой запуск server из llama.cpp даёт прозрачные флаги и предсказуемое поведение.
Имеет смысл изучить offload слоёв на GPU, batch size и параметры кэша KV. Для агентов критична стабильная скорость на серии коротких вызовов, а не только пиковый токен/сек на длинном монологе.
Сборка под Metal, CUDA или Vulkan меняет картину. На ноутбуке без мощной видеокарты иногда выгоднее аккуратная CPU+GPU гибридная схема, чем попытка запихнуть 70B «как в обзоре».
Документируйте рабочую командную строку в репозитории агента. Через месяц вы не вспомните, каким набором флагов модель перестала галлюцинировать аргументы функций.