RAG на своей машине: индекс и ответы

Локальный RAG начинается с нарезки документов на чанки с перекрытием и осмысленными границами. Слепой сплит по 500 символов ломает таблицы и код.

Эмбеддинг-модель тоже локальная. Держите её согласованной: переиндексируйте корпус при смене эмбеддера, иначе поиск деградирует незаметно.

Агенту отдавайте не «топ-50 чанков», а короткий релевантный набор плюс возможность уточнить запрос. Перекормленный контекст хуже короткого точного.

Оценивайте RAG отдельно от болтливости модели: метрики попадания нужного фрагмента важнее красивого абзаца без опоры на источник.