Пилот на 50 документах — 2 дня. Реальный проект на 50 000 — другая история. Пять проблем, которые проявляются только на реальных объёмах.
Проблема 1: разбивка на фрагменты
На пилоте фрагменты по 800 токенов работают. На реальной базе режут таблицы, разрывают связи заголовок-содержание, теряют контекст многошаговых инструкций. Решение: адаптивная нарезка по структуре. Заголовки, списки, таблицы — отдельные фрагменты с метаданными.
Проблема 2: дубли и версии
30% документов — дубли с разными датами или версиями. Векторный поиск вернёт все три версии и запутает модель. Решение: дедупликация через MinHash + метаданные о версии. При поиске — только актуальная.
Проблема 3: устаревшие данные
Инструкция изменилась, индекс — нет. Модель отвечает по старой версии. Решение: инкрементальная переиндексация по триггеру (сигнал из источника или изменение файла) + автоматическое удаление старых версий.
Проблема 4: «я не знаю»
Модель не должна выдумывать. Решение: порог релевантности. Если близость топ-1 фрагмента ниже 0,65 — «не найдено» + эскалация на человека.
Проблема 5: оценка качества
Метрики: точность (доля корректных ответов), полнота (доля вопросов с ответом), оценка клиентов, доля эскалаций. Плюс ручная проверка 200 случайных диалогов раз в месяц.
Архитектура рабочего AI-поиска
Индексация: Airflow → Confluence / Notion / PDF → нарезка → векторы → pgvector. Поиск: гибридный (BM25 + вектор) → второй проход ранжирования → топ-5 фрагментов → запрос к модели → языковая модель. Ответ: со ссылками на источник, эскалация при низкой уверенности. Мониторинг: панель по точности, полноте и оценке клиентов.
Метрики реального проекта
База: 2 400 статей + 18 000 обращений. Точность ответов: 92% (оценка на 200 диалогах). Доля эскалаций: 38%. Среднее время ответа: 2,4 сек. Экономия: 4 сотрудника. Оценка клиентов: 4,6 / 5.
Чек-лист перед запуском
- Адаптивная нарезка по структуре.
- Дедупликация и версионирование.
- Инкрементальная переиндексация.
- Порог релевантности и правило «не знаю».
- Панель качества.
- Ручной аудит 200 диалогов раз в месяц.
- Донастройка запросов к модели на реальных кейсах.
- Плановая полная переиндексация раз в квартал.
Выводы
AI-поиск — инфраструктурный проект с этапом эксплуатации. Если база обновляется, а индекс — нет, AI-поиск деградирует. Закладывайте на это ресурсы.