RAG / Корпоративные знания
RAG по внутренним документам и данным компании
RAG связывает языковую модель с актуальными корпоративными источниками. Перед ответом система находит релевантные фрагменты с учётом прав пользователя и передаёт их модели вместе с вопросом.
Коротко / Главное
- Качество RAG чаще ограничивает подготовка данных и retrieval, а не размер языковой модели.
- Права доступа необходимо переносить в индекс и применять до выдачи найденных фрагментов.
- Без контрольного набора вопросов невозможно отличить улучшение системы от случайно удачного ответа.
01 / Раздел
Из каких этапов состоит RAG
Документы извлекаются из исходных систем, очищаются от служебного шума, делятся на смысловые фрагменты и преобразуются в векторные представления. При запросе система выполняет поиск, при необходимости переранжирует результаты и формирует контекст для LLM.
- Коннекторы и отслеживание изменений в источниках.
- Парсинг таблиц, заголовков, списков и метаданных.
- Гибридный поиск: полнотекстовый плюс векторный.
- Reranking и фильтрация по отделу, проекту или уровню доступа.
- Генерация ответа с цитатами и сигналом уверенности.
02 / Раздел
Почему загрузить PDF в векторную базу недостаточно
Плохая структура документа, повторяющиеся колонтитулы, сканы без качественного OCR и слишком большие фрагменты ухудшают поиск. Ещё одна частая проблема — отсутствие связи между найденным текстом и его владельцем, датой, версией и правами доступа.
Production-конвейер должен уметь повторно индексировать только изменившиеся документы, удалять устаревшие версии и показывать пользователю источник в привычной системе.
03 / Раздел
Контроль качества
Набор тестов формируется из реальных вопросов сотрудников и включает ожидаемые источники, факты и допустимые варианты ответа. Отдельно проверяются запросы, на которые система должна отказаться отвечать из-за отсутствия данных или прав.
| Метрика | Что показывает | Типичный вопрос |
|---|---|---|
| Recall поиска | Нашёлся ли нужный документ | Есть ли источник среди результатов |
| Точность цитаты | Подтверждает ли фрагмент утверждение | Можно ли проверить ответ |
| Faithfulness | Не добавила ли LLM лишние факты | Следует ли ответ контексту |
| Полезность | Решает ли ответ задачу сотрудника | Можно ли действовать дальше |
04 / Раздел
Локальный RAG и чувствительные данные
При локальном размещении embeddings, индекс, исходные документы и запросы могут оставаться внутри согласованного контура. Однако сама локальность не заменяет модель угроз, разграничение прав, шифрование, резервное копирование и аудит.
FAQ / По теме
Частые вопросы
Нужна ли fine-tuning модели для RAG?+
Обычно сначала стоит наладить документы, поиск и инструкции. Fine-tuning решает другие задачи и не заменяет доступ к актуальным данным.
Можно ли индексировать таблицы и сканы?+
Да, но понадобятся специализированный парсинг, OCR и проверка качества извлечения.
Как быстро обновляются документы?+
Это зависит от источника: изменения можно получать событиями, по расписанию или инкрементальным обходом.
Обсудим вашу
AI-инфраструктуру.
За 30 минут определим вероятный класс моделей, конфигурацию и следующие шаги для пилота.
Получить бесплатную оценку ↗