Как оценивать качество локального агента

Соберите 20–50 реальных задач: «найди функцию», «ответь по регламенту», «поправь тест». Это ваш север, а не чужой лидерборд.

Считайте не только «ответ понравился», но и успешность схемы, число лишних шагов, время до критерия остановки.

При смене квантовки или версии модели гоняйте тот же набор. Локальный зоопарк обновлений легко ломает то, что вчера работало.

Храните трассы провалов. Они лучший источник для улучшения описаний инструментов и системного промпта.