Как сделать базу знаний с ИИ: пошаговый разбор архитектуры

Что подготовить до старта

Начинается всё не с выбора векторной базы, а с ревизии того, что у вас вообще есть. У большинства компаний, с которыми я работал, база знаний живёт не в одном месте — кусками в Confluence, кусками в Notion, кусками в голове у сотрудника, который «и так всё помнит» (а потом уходит в отпуск, и всё встаёт 😅). Узнаёте эту картину?

Соберите в одном списке:

• регламенты и должностные инструкции
• внутреннюю базу знаний (Confluence, Notion, Google Docs — что угодно)
• договоры и типовые условия
• FAQ для клиентов
• переписки поддержки — там часто лежат готовые формулировки ответов на реальные вопросы

Дальше — честная оценка каждого источника: он актуален или это версия трёхлетней давности, которую никто не обновлял? Мусор на входе — мусор на выходе, я подробно разбирал этот принцип в статье про RAG, здесь не буду повторяться. И сразу зафиксируйте третий момент, о котором на этом этапе почти никто не думает: кто вообще должен видеть какой документ. HR-документы — не для всех сотрудников, а к этому вопросу мы ещё вернёмся отдельно, когда дойдём до архитектуры доступа.

От документа до ответа: 4 шага внутри RAG

Когда источники собраны, начинается собственно инженерная часть. Она устроена как конвейер — документ проходит четыре стадии, прежде чем стать ответом на экране пользователя.

Шаг 1. Режем документы на куски

Модель не читает документ целиком — она работает с релевантными фрагментами, поэтому текст сначала режут на смысловые куски (chunking). Причём не механически, «каждые 500 знаков», а с сохранением контекста: заголовок раздела остаётся с текстом под ним, таблицу не разрывают посередине.

Расскажу честно про свой промах. На одном из первых проектов мы резали документ по фиксированной длине — и разрубили пополам таблицу тарифов. Бот на голубом глазу называл клиенту цену без единицы измерения: просто число, и всё 🙈. С тех пор режем по смысловым границам, а не по счётчику символов — раздел, абзац, целая строка таблицы. Точнее — даже не «режем», а сначала размечаем структуру документа, а уже потом делим на куски внутри неё.

Шаг 2. Индексация: эмбеддинги и векторная база

Каждый фрагмент превращается в эмбеддинг — числовое представление, которое отражает смысл текста, а не набор слов, — и складывается в векторную базу данных. Дальше поиск идёт по смыслу: запрос «сколько стоит доставка» найдёт фрагмент про «стоимость логистики», даже если слово «доставка» там ни разу не встречается. Какую именно векторную базу выбрать — вопрос отдельный и не про «единственно правильный вариант», категорий на рынке достаточно.

Шаг 3. Поиск и сборка контекста

Когда пользователь задаёт вопрос, система ищет в векторной базе наиболее релевантные фрагменты — иногда с дополнительным «реранкингом», чтобы отсеять то, что формально похоже, но по смыслу мимо. Найденные куски передаются модели вместе с исходным вопросом. Это и есть поиск по документам с GPT в чистом виде: не модель роется в файлах сама, а ей заранее подкладывают нужные страницы.

Шаг 4. Ответ со ссылкой на источник

Модель формулирует ответ, опираясь на переданный контекст, и в хорошей реализации указывает источник: «по пункту 4.2 регламента…».

Что происходит после запуска: обновление и доступ

Запуск — не финал, а точка, после которой начинается обслуживание. Тут два вопроса, и они разные по природе.

База остаётся живой без переобучения

Добавили новый документ — он проиндексировался и сразу в поиске. Старый убрали или заменили — переиндексация происходит без переобучения самой модели. Точнее, даже слово «переиндексация» звучит серьёзнее, чем есть на деле — это просто пересчёт эмбеддингов для изменённых кусков, а не для всей базы разом. Именно в этом было главное преимущество RAG перед fine-tuning, о котором я писал в статье про саму технологию: обновить базу знаний — это операция с документами, а не с моделью.

Права доступа: кто и что видит

Если у разных сотрудников или ролей разный доступ к документам — например, открытая база для всех и отдельно HR-документы — это нужно закладывать на уровне архитектуры поиска, а не только в интерфейсе бота. Опасная и, увы, частая ошибка — сначала найти все релевантные фрагменты, а уже потом на выходе отфильтровать «то, что нельзя показывать этому пользователю»: к моменту фильтра документ уже был извлечён из базы, и это дыра. Правильно — проверять права на уровне самого поиска, до того как фрагмент вообще попал в выдачу. Звучит как техническая деталь, а на деле это разница между «удобным ботом» и утечкой конфиденциальных данных.

Где такую базу знаний применяют

База знаний с ИИ — это инфраструктура, а не готовое решение под одну задачу. Из того, что я делал клиентам:

• внутренний помощник для сотрудников — отвечает по регламентам и инструкциям, не дёргает коллег в чате каждый раз с одним и тем же вопросом
• чат-бот по документам для клиентов — отвечает по каталогу, условиям, договорам
• поиск по большому объёму документации, куда человек лезть не любит — юридические тексты, техническая база
• и поддержка клиентов — пожалуй, самый частый запрос: агент отвечает по базе знаний компании, а не выдумывает.

Кстати, важный нюанс: такую базу знаний может использовать и простой чат-бот, и полноценный ИИ-агент — это разные оси. База знаний отвечает «откуда берутся факты», агент — «кто и как принимает решение, что с этими фактами делать». Одно без другого работает, но вместе — сильнее.

Сколько это стоит и с чего начать

Если у вас один канал и понятная база FAQ — хватает базовой настройки. Если нужна именно архитектура из этой статьи — с базой знаний, интеграцией CRM или 1С и метриками в дашборде — это уровень «Бизнес» в моей услуге Боты с AI и чат-боты от 50 000 ₽ . Ровно то, что описано выше по шагам, только собранное под ключ 🙂.

Начинать стоит не с брифа мне, а с ревизии документов из первого раздела — я это честно проговариваю на созвоне с каждым клиентом, потому что даже идеальная архитектура не спасёт, если на входе документы в хаосе.

Готовы ли ваши документы к базе знаний с ИИ

В общем, умная база знаний компании строится не за одну неделю и не одной кнопкой — но и не так страшно, как звучит на бумаге. Мы все откладываем «навести порядок в документах» на потом, пока это не станет условием запуска. У вас документы уже готовы к этому, или предстоит для начала навести порядок?