Почему «правильный» RAG ломается на реальных данных
Sh0ny
27 июля 20261 мин чтения
Коротко
BM25 и реранкер — индустриальные дефолты, которые на практике могут уронить метрику. Разбор случая, когда настоящей работой оказались не стрелочки на схеме, а замеры и чистка корпуса.
Индустриальный рецепт RAG звучит просто: векторная база, эмбеддер, реранкер, гибридный поиск с BM25 — и система готова к продакшену. Двадцать строк кода, красивая схема. Но на реальных данных почти каждый «правильный» шаг из этого списка способен сделать хуже.
BM25 уронил метрику. Реранкер уронил метрику — дважды, в двух разных конфигурациях. Единственное, что реально помогло, оказалось не кодом, а несколькими днями возни с данными и замерами.
Это не значит, что RAG не работает. RAG работает. Проблема в другом: настоящая работа начинается там, где заканчивается копирование дефолтных рецептов. Eval-харнесс, чистка корпуса и честные замеры показывают, что из индустриальных бенчмарков вам подходит, а что вредит. Проверить это можно только на своих данных — «так принято» тут не аргумент.
Если вы собираете RAG-систему, первый вопрос не «какой эмбеддер взять», а «как я буду измерять, что стало лучше».