Как улучшить поиск в корпоративной базе знаний: опыт оптимизации RAG-системы

Внедрение систем генерации ответов на основе корпоративной базы знаний (RAG) — это уже не просто модный тренд, а необходимость для компаний, работающих с огромными массивами документации. Однако, как показывает практика, простое подключение базы данных к LLM — это далеко не конец пути. Настоящая магия начинается на этапе извлечения информации, и здесь кроется главный вызов.

Когда объем данных растет, качество поиска начинает падать. На небольшом корпусе, например, на выгрузке Confluence, поиск может работать вполне прилично. Но как только база знаний разрастается — мы говорим о десятках тысяч страниц и десятках тысяч чанков — картина меняется. Появляется проблема: система начинает выдавать документы, которые семантически похожи на запрос, но на самом деле не содержат ответа, который нужен пользователю.

Масштабирование данных и проблема релевантности

Увеличение объема индекса до почти 35 тысяч страниц и 80 тысяч чанков выявило эту проблему в полной мере. На большом корпусе вокруг любого запроса система может выдать десяток кандидатов, и нужный, самый точный факт, может