Шаг 4. База знаний: Knowledge Pipeline и Parent-child
Большинство предпринимателей загружают PDF-инструкцию в чат-бота и удивляются, почему ассистент путает артикулы или выдумывает несуществующие скидки. В бизнесе это похоже на попытку заставить нового стажёра выучить архив за обеденный перерыв: он выхватит знакомые слова, но переврёт суть договора. В Dify v1.19.0 за работу с корпоративной памятью отвечает Knowledge Pipeline — цифровой архив с жестким регламентом сортировки. Сегодня мы превратим сырые прайсы и многостраничные регламенты в безошибочную базу знаний с гибридным поиском.
1. Архитектура Knowledge Pipeline: почему папки больше не работают
Когда вы складываете документы в обычную папку на сервере, нейросеть видит их как огромную неструктурированную простыню текста. Если спросить бота о гарантии на конкретный насос, он попытается прочесть весь стостраничный том технической документации разом. Лимит контекста будет съеден за секунду, компания заплатит за десятки тысяч лишних токенов, а клиент получит размытый ответ сочинённый моделью на ходу.
В Dify v1.19.0 работа с корпоративной информацией устроена иначе. Вместо свалки файлов здесь работает Knowledge Pipeline — конвейер, напоминающий автоматизированный склад. Документ попадает на приёмку, очищается от мусора, нарезается на порции строго заданного размера и раскладывается по ячейкам векторной базы данных Weaviate. Когда менеджер задаёт вопрос, система ищет не по всему складу, а выдёргивает три-четыре точные карточки.
При этом метаданные и системные связи хранятся в PostgreSQL 15, а быстрый кэш держит Redis. Это разделение труда позволяет даже скромному серверу за 1500 рублей в месяц обслуживать десятки одновременных запросов от ваших сотрудников без зависаний. База знаний перестаёт быть чёрным ящиком. Вы точно знаете, сколько памяти занимает каждый регламент и какие именно абзацы модель забирает для ответа клиенту.
2. Публикация пайплайна: почему пустой список документов — это норма
Я неоднократно видел, как предприниматели после установки Dify впадают в ступор на одном и том же шаге. Человек создаёт базу знаний, заходит во вкладку «Документы», а кнопка загрузки либо заблокирована, либо добавленные файлы исчезают в пустоте. Начинается судорожный перезапуск контейнеров, проверка логов и чтение форумов с мыслью, что Docker сломался.
На самом деле в Dify v1.19.0 действует строгое инженерное правило: сначала создаётся и обязательно публикуется сам пайплайн обработки, и только потом в него загружаются файлы. Пока конвейер не запущен в производственный цикл, склад не имеет права принимать груз. До публикации вкладка «Документы» пустая — это штатное поведение платформы, а не программная ошибка.
Чтобы запустить конвейер в работу, перейдите в созданную базу знаний, настройте цепочку шагов и нажмите синюю кнопку «Publish» в правом верхнем углу интерфейса. Только после появления статуса опубликованной схемы переходите к наполнению архива.
Проверка: откройте раздел «Knowledge», выберите вашу базу, убедитесь, что в правом верхнем углу горит статус «Published», а на вкладке «Documents» активна кнопка «Add File».
У меня ошибка
- Симптом: список документов пуст, файлы не загружаются или выдают ошибку конфигурации. — Что делать: вернитесь во вкладку конструирования пайплайна, нажмите «Publish», дождитесь всплывающего уведомления об успешной публикации и обновите страницу браузера.
Вы исключаете случайную загрузку файлов в сырой, ненастроенный профиль обработки, спасая баланс API-шлюза от оплаты бессмысленной переиндексации.
3. Три режима нарезки: Parent-child, General и Q&A
Главный секрет качественного поиска — правильная нарезка текста на фрагменты (чанки). Если нарезать текст слишком мелко, модель найдёт нужную фразу, но не поймёт контекста предложения. Если нарезать слишком крупно, ответ утонет в мусорных подробностях. В Dify v1.19.0 встроено три ключевых режима нарезки.
Первый режим — Parent-child (родительские и дочерние фрагменты). Это золотой стандарт для сложных корпоративных документов. Поисковый алгоритм ищет совпадение по крошечному дочернему фрагменту в 150–200 токенов (например, конкретному артикулу или номеру пункта). Но когда совпадение найдено, в языковую модель передаётся не этот обрывок, а полный родительский блок на 800–1000 токенов — весь параграф с условиями и оговорками. Для быстрой настройки используйте готовый шаблон Parent-child-HQ.
Второй режим — General с методом Economical. Он нарезает текст сплошным линейным шагом с небольшим перекрытием. Он расходует минимум токенов на этапе индексации и отлично подходит для новостных заметок, описаний компании или простых статей базы знаний, где нет многоуровневой структуры.
Третий режим — Q&A. Конвейер читает текст и силами LLM автоматически генерирует список пар «вопрос — ответ». Это идеальный выбор для клиентских FAQ и регламентов технической поддержки. Однако помните: первичная индексация режима Q&A стоит значительно дороже, так как модель построчно перерабатывает весь ваш документ.
Выбор стратегии нарезки под тип документа гарантирует, что ассистент поймёт юридические оговорки в договорах и не потеряет вложенные пункты правил.
4. Прайс на 300 позиций против регламента на 80 страниц
В малом бизнесе документы делятся на два принципиально разных типа: точные таблицы и связные тексты. Обрабатывать их по единому шаблону — прямой путь к галлюцинациям модели.
Возьмём типичный прайс-лист на 300 товарных позиций. Если загрузить его как сплошной текст, бот перепутает цену из третьей колонки с артикулом из четвёртой. Прайс-листы мы готовим в формате XLSX или чистом DOCX и отправляем через шаблон Convert to Markdown. В формате Markdown каждая строка таблицы сохраняет заголовки столбцов: наименование, артикул, остаток на складе, цена с НДС. Даже если модель прочитает одну изолированную строку, она точно свяжет цену именно с этим товаром.
С регламентом на 80 страниц поступаем иначе. Это длинный связный текст с внутренними ссылками («согласно пункту 4.2»). Загружаем его в формате PDF или DOCX через шаблон Parent-child-HQ. Дочерний чанк настраиваем на 250 токенов, а родительский — на 1200 токенов. Теперь при вопросе «Как оформить возврат без чека?» робот моментально находит формулировку в дочернем фрагменте, но забирает в контекст весь регламент возврата целиком.
2 vCPU · 4 ГБ RAM · 40 ГБ NVMe · Ubuntu 24.04 LTS. Почасовая тарификация, защита от DDoS, без навязанных платных панелей.
Выбрать конфигурацию VPS →| Параметр | Старт (первый запуск) | Продакшен (база знаний и агенты) |
|---|---|---|
| RAM | 4 ГБ | 8 ГБ |
| Ядра | 2 vCPU | 4 vCPU |
| Диск | 40 ГБ SSD | 80 ГБ SSD |
| Когда выбирать | Один чатбот, знакомство с Dify, тесты шлюзов | Knowledge Pipeline на сотни документов, несколько приложений, песочница и плагины |
💡 Какие навязанные опции снять при заказе:
- Платная панель управления — не нужна: сервером управляем по SSH.
- Хостинговые бэкапы — не нужны: базу бэкапим собственным скриптом по расписанию.
- Дополнительные IPv4 — не нужны: Caddy проксирует любое число поддоменов на одном IP.
Ниже приведён пример системного правила, которое стоит зафиксировать во внутреннем описании базы данных при загрузке разнородных материалов:
# Этап 1: Проверка формата исходного документа перед отправкой на конвейер
# Важно: таблицы и прайсы XLSX/DOCX идут через шаблон Convert to Markdown
# Важно: объёмные инструкции PDF/DOCX идут через шаблон Parent-child-HQ
# Этап 2: Фиксация лимитов нарезки для текстовых инструкций
PARENT_CHUNK_SIZE=1200
CHILD_CHUNK_SIZE=250
CHUNK_OVERLAP=50
Прайс-лист остаётся точным до копейки, а длинные регламенты не теряют причинно-следственных связей при цитировании.
5. Настройка гибридного поиска: Hybrid Search и Weighted Score
Векторный поиск (Semantic Search) великолепен, когда клиент спрашивает размыто: «Хочу что-нибудь для полива газона». База Weaviate сопоставляет смыслы и находит дренажные насосы и шланги. Но если клиент пишет точный артикул детали вроде КР-45/09-Б, семантический поиск пасует. Числа и технические индексы не несут в себе широкого литературного смысла.
Для решения этой проблемы в Dify v1.19.0 используется Hybrid Search (гибридный поиск). Он одновременно запускает два механизма: семантический поиск по векторам и классический полнотекстовый поиск по ключевым словам через PostgreSQL. Затем система объединяет результаты методом Weighted Score (взвешенная оценка).
В настройках поиска базы знаний установите режим Hybrid Search и выберите модель ранжирования Weighted Score. Для смешанных баз (где есть и описания товаров, и регламенты) я рекомендую выставлять баланс весов: 0.7 для семантики (Semantic) и 0.3 для точных совпадений по ключевым словам (Keyword). Если в базе лежат только каталоги запчастей и прайсы, сдвиньте ползунок к соотношению 0.5 / 0.5.
Проверка: откройте настройки созданной базы знаний, перейдите в подраздел «Retrieval Setting», выберите «Hybrid Search», укажите метод «Weighted Score» и сохраните изменения.
У меня ошибка
- Симптом: метод Hybrid Search недоступен или выдаёт предупреждение об отсутствии полнотекстового индекса. — Что делать: проверьте, завершилась ли служебная задача контейнера
init_permissionsсо статусомExited (0), и убедитесь, что база Postgres 15 в docker-compose развёрнута без ошибок миграций.
Бот одинаково безошибочно находит товары по невнятным описаниям новичков и по точным артикулам из уст опытных снабженцев.
Проверяем результат: как понять, что всё работает
Качество корпоративной базы знаний проверяется не в переписке с ботом, а на специальном приёмочном стенде — во вкладке Retrieval Testing (Тестирование выборки) внутри самой базы знаний. Это рентген вашей базы данных, который показывает извлечённый материал до того, как к нему прикоснется генеративная модель.
Введите в поле тестирования три контрольных вопроса: один по точному артикулу из прайса (например, «Цена артикула 104-B»), второй по сложному условию регламента («Сроки возврата брака юридическим лицом») и третий общий («Чем вы занимаетесь?»). Нажмите кнопку «Test» и внимательно изучите правую колонку выдачи.
Система покажет точные карточки фрагментов, найденных в Weaviate и Postgres, с итоговым баллом релевантности (Score от 0.0 до 1.0). Если вы использовали Parent-child, вы увидите подсвеченный дочерний фрагмент, вызвавший совпадение, и развёрнутый текст родительского чанка, который отправится в промпт. Если балл выше 0.75, а текст содержит исчерпывающий ответ без мусорных обрывков соседних глав — база знаний готова к интеграции в боевые чат-флоу.
Вы принимаете работу конвейера по объективным математическим метрикам, а не надеетесь на удачу в боевом диалоге с реальным клиентом.
Итог урока
Мы настроили полноценный конвейер корпоративных знаний на базе Knowledge Pipeline в Dify v1.19.0. Разобрали, почему публикация схемы обязана предшествовать импорту файлов, и зафиксировали жесткое разделение форматов: тяжелые многостраничные инструкции отправляются в шаблон Parent-child-HQ, а структурированные прайс-листы — в Convert to Markdown без использования битых PDF. Настроив гибридный поиск Hybrid Search с весовой моделью Weighted Score, мы добились одинаково точного извлечения как сложных регламентов, так и строгих артикулов запчастей.
Чек-лист готовности
Дальше по курсу: открывайте шаг 5 — Ассистент и виджет: там выходим к людям: Chatflow, Output Routes, виджет на сайте и защита /install. Если нужно вернуться к общей картине, обзор архитектуры Dify всегда под рукой, а связку с внешними сервисами разбирайте в курсе Автоматизация на n8n.
Сложно настраивать сервер и возиться с кодом Linux вручную?
Освойте профессию AI-инженера и автоматизатора без программирования на проверенных бесплатных интенсивах:
Обучение работе с нейросетями Нейродоход
Прикладное обучение нейросетям от Plaan Academy
Готовый комплект файлов и пресетов к этому уроку
Соберите персональный production-файл под свой домен прямо на странице без переходов в Telegram: