Шаг 4. База знаний: Knowledge Pipeline и Parent-child

⚡ Переменные для вашего сервера Команды в статье обновятся автоматически:
Режим просмотра:

Большинство предпринимателей загружают PDF-инструкцию в чат-бота и удивляются, почему ассистент путает артикулы или выдумывает несуществующие скидки. В бизнесе это похоже на попытку заставить нового стажёра выучить архив за обеденный перерыв: он выхватит знакомые слова, но переврёт суть договора. В Dify v1.19.0 за работу с корпоративной памятью отвечает Knowledge Pipeline — цифровой архив с жестким регламентом сортировки. Сегодня мы превратим сырые прайсы и многостраничные регламенты в безошибочную базу знаний с гибридным поиском.

Время~35 минут
РезультатСобранный и опубликованный Knowledge Pipeline с гибридным поиском Weighted Score, раздельной обработкой регламентов и прайс-листов, проверенный через Retrieval Testing
Для когоВладельцы малого бизнеса, руководители отделов и фрилансеры, создающие надёжных корпоративных AI-ассистентов

1. Архитектура Knowledge Pipeline: почему папки больше не работают

Когда вы складываете документы в обычную папку на сервере, нейросеть видит их как огромную неструктурированную простыню текста. Если спросить бота о гарантии на конкретный насос, он попытается прочесть весь стостраничный том технической документации разом. Лимит контекста будет съеден за секунду, компания заплатит за десятки тысяч лишних токенов, а клиент получит размытый ответ сочинённый моделью на ходу.

В Dify v1.19.0 работа с корпоративной информацией устроена иначе. Вместо свалки файлов здесь работает Knowledge Pipeline — конвейер, напоминающий автоматизированный склад. Документ попадает на приёмку, очищается от мусора, нарезается на порции строго заданного размера и раскладывается по ячейкам векторной базы данных Weaviate. Когда менеджер задаёт вопрос, система ищет не по всему складу, а выдёргивает три-четыре точные карточки.

При этом метаданные и системные связи хранятся в PostgreSQL 15, а быстрый кэш держит Redis. Это разделение труда позволяет даже скромному серверу за 1500 рублей в месяц обслуживать десятки одновременных запросов от ваших сотрудников без зависаний. База знаний перестаёт быть чёрным ящиком. Вы точно знаете, сколько памяти занимает каждый регламент и какие именно абзацы модель забирает для ответа клиенту.

2. Публикация пайплайна: почему пустой список документов — это норма

Я неоднократно видел, как предприниматели после установки Dify впадают в ступор на одном и том же шаге. Человек создаёт базу знаний, заходит во вкладку «Документы», а кнопка загрузки либо заблокирована, либо добавленные файлы исчезают в пустоте. Начинается судорожный перезапуск контейнеров, проверка логов и чтение форумов с мыслью, что Docker сломался.

На самом деле в Dify v1.19.0 действует строгое инженерное правило: сначала создаётся и обязательно публикуется сам пайплайн обработки, и только потом в него загружаются файлы. Пока конвейер не запущен в производственный цикл, склад не имеет права принимать груз. До публикации вкладка «Документы» пустая — это штатное поведение платформы, а не программная ошибка.

Чтобы запустить конвейер в работу, перейдите в созданную базу знаний, настройте цепочку шагов и нажмите синюю кнопку «Publish» в правом верхнем углу интерфейса. Только после появления статуса опубликованной схемы переходите к наполнению архива.

Проверка: откройте раздел «Knowledge», выберите вашу базу, убедитесь, что в правом верхнем углу горит статус «Published», а на вкладке «Documents» активна кнопка «Add File».

У меня ошибка
  • Симптом: список документов пуст, файлы не загружаются или выдают ошибку конфигурации. — Что делать: вернитесь во вкладку конструирования пайплайна, нажмите «Publish», дождитесь всплывающего уведомления об успешной публикации и обновите страницу браузера.

Вы исключаете случайную загрузку файлов в сырой, ненастроенный профиль обработки, спасая баланс API-шлюза от оплаты бессмысленной переиндексации.

3. Три режима нарезки: Parent-child, General и Q&A

Главный секрет качественного поиска — правильная нарезка текста на фрагменты (чанки). Если нарезать текст слишком мелко, модель найдёт нужную фразу, но не поймёт контекста предложения. Если нарезать слишком крупно, ответ утонет в мусорных подробностях. В Dify v1.19.0 встроено три ключевых режима нарезки.

Первый режим — Parent-child (родительские и дочерние фрагменты). Это золотой стандарт для сложных корпоративных документов. Поисковый алгоритм ищет совпадение по крошечному дочернему фрагменту в 150–200 токенов (например, конкретному артикулу или номеру пункта). Но когда совпадение найдено, в языковую модель передаётся не этот обрывок, а полный родительский блок на 800–1000 токенов — весь параграф с условиями и оговорками. Для быстрой настройки используйте готовый шаблон Parent-child-HQ.

Как работает Parent-child в Knowledge Pipeline Четыре шага: документ нарезается на дочерние предложения, поиск находит точное предложение, в модель передаётся полный родительский абзац. ПОЧЕМУ ОТВЕТ ТОЧНЫЙ: PARENT-CHILD Knowledge Pipeline Документ PDF · DOCX · XLSX Прайс, регламент или договор уже в базе знаний. Один раз. Дочерние части parent-child Абзац нарезан на короткие фразы, у каждой — вектор. Это приманка. Поиск по смыслу hybrid search Вопрос совпал с одной точной фразой в прайсе. Это крючок. Полный абзац в модель Модель получает родительский блок целиком, с условиями. Это ответ. Дочерний фрагмент ловит вопрос, родительский абзац даёт ответ. Поэтому модель не выдёргивает половину условия из договора. Проверяется в Retrieval Testing: там видно, какой именно фрагмент ушёл в модель и что она с ним сделала. Режим нарезки выбирается один раз и после публикации пайплайна не меняется — переделывать придётся с переиндексацией.
Parent-child — это два уровня одной и той же информации: мелкие фрагменты для поиска и крупные абзацы для ответа. Схема объясняет, почему Dify находит нужную строку в прайсе, но отвечает целым разделом с условиями и сроками.

Второй режим — General с методом Economical. Он нарезает текст сплошным линейным шагом с небольшим перекрытием. Он расходует минимум токенов на этапе индексации и отлично подходит для новостных заметок, описаний компании или простых статей базы знаний, где нет многоуровневой структуры.

Третий режим — Q&A. Конвейер читает текст и силами LLM автоматически генерирует список пар «вопрос — ответ». Это идеальный выбор для клиентских FAQ и регламентов технической поддержки. Однако помните: первичная индексация режима Q&A стоит значительно дороже, так как модель построчно перерабатывает весь ваш документ.

Евгений Карташов

Евгений Карташов (NeuroKartashov)AI Лаборатория Евгения Карташова

Цена ошибки: я загрузил 80-страничный регламент сервисного центра в шаблон Convert to Markdown, рассчитывая получить красивый каталог. Конвертер превратил таблицы допусков и списки запчастей в нечитаемую кашу символов с разорванными связями. Ассистент начал путать гарантийные случаи с платным ремонтом, и отдел поддержки два дня выслушивал претензии клиентов.

Правило, которое я вывел: файлы PDF никогда нельзя пропускать через шаблон Convert to Markdown — для них используйте Parent-child-HQ, а Markdown-шаблоны оставьте для офисных таблиц DOCX и XLSX.

Выбор стратегии нарезки под тип документа гарантирует, что ассистент поймёт юридические оговорки в договорах и не потеряет вложенные пункты правил.

4. Прайс на 300 позиций против регламента на 80 страниц

В малом бизнесе документы делятся на два принципиально разных типа: точные таблицы и связные тексты. Обрабатывать их по единому шаблону — прямой путь к галлюцинациям модели.

Возьмём типичный прайс-лист на 300 товарных позиций. Если загрузить его как сплошной текст, бот перепутает цену из третьей колонки с артикулом из четвёртой. Прайс-листы мы готовим в формате XLSX или чистом DOCX и отправляем через шаблон Convert to Markdown. В формате Markdown каждая строка таблицы сохраняет заголовки столбцов: наименование, артикул, остаток на складе, цена с НДС. Даже если модель прочитает одну изолированную строку, она точно свяжет цену именно с этим товаром.

С регламентом на 80 страниц поступаем иначе. Это длинный связный текст с внутренними ссылками («согласно пункту 4.2»). Загружаем его в формате PDF или DOCX через шаблон Parent-child-HQ. Дочерний чанк настраиваем на 250 токенов, а родительский — на 1200 токенов. Теперь при вопросе «Как оформить возврат без чека?» робот моментально находит формулировку в дочернем фрагменте, но забирает в контекст весь регламент возврата целиком.

Готовый сервер в облаке в 1 клик

2 vCPU · 4 ГБ RAM · 40 ГБ NVMe · Ubuntu 24.04 LTS. Почасовая тарификация, защита от DDoS, без навязанных платных панелей.

Выбрать конфигурацию VPS →
Параметр Старт (первый запуск) Продакшен (база знаний и агенты)
RAM 4 ГБ 8 ГБ
Ядра 2 vCPU 4 vCPU
Диск 40 ГБ SSD 80 ГБ SSD
Когда выбирать Один чатбот, знакомство с Dify, тесты шлюзов Knowledge Pipeline на сотни документов, несколько приложений, песочница и плагины

💡 Какие навязанные опции снять при заказе:

  • Платная панель управления — не нужна: сервером управляем по SSH.
  • Хостинговые бэкапы — не нужны: базу бэкапим собственным скриптом по расписанию.
  • Дополнительные IPv4 — не нужны: Caddy проксирует любое число поддоменов на одном IP.

Ниже приведён пример системного правила, которое стоит зафиксировать во внутреннем описании базы данных при загрузке разнородных материалов:

# Этап 1: Проверка формата исходного документа перед отправкой на конвейер
# Важно: таблицы и прайсы XLSX/DOCX идут через шаблон Convert to Markdown
# Важно: объёмные инструкции PDF/DOCX идут через шаблон Parent-child-HQ

# Этап 2: Фиксация лимитов нарезки для текстовых инструкций
PARENT_CHUNK_SIZE=1200
CHILD_CHUNK_SIZE=250
CHUNK_OVERLAP=50

Прайс-лист остаётся точным до копейки, а длинные регламенты не теряют причинно-следственных связей при цитировании.

5. Настройка гибридного поиска: Hybrid Search и Weighted Score

Векторный поиск (Semantic Search) великолепен, когда клиент спрашивает размыто: «Хочу что-нибудь для полива газона». База Weaviate сопоставляет смыслы и находит дренажные насосы и шланги. Но если клиент пишет точный артикул детали вроде КР-45/09-Б, семантический поиск пасует. Числа и технические индексы не несут в себе широкого литературного смысла.

Для решения этой проблемы в Dify v1.19.0 используется Hybrid Search (гибридный поиск). Он одновременно запускает два механизма: семантический поиск по векторам и классический полнотекстовый поиск по ключевым словам через PostgreSQL. Затем система объединяет результаты методом Weighted Score (взвешенная оценка).

В настройках поиска базы знаний установите режим Hybrid Search и выберите модель ранжирования Weighted Score. Для смешанных баз (где есть и описания товаров, и регламенты) я рекомендую выставлять баланс весов: 0.7 для семантики (Semantic) и 0.3 для точных совпадений по ключевым словам (Keyword). Если в базе лежат только каталоги запчастей и прайсы, сдвиньте ползунок к соотношению 0.5 / 0.5.

Проверка: откройте настройки созданной базы знаний, перейдите в подраздел «Retrieval Setting», выберите «Hybrid Search», укажите метод «Weighted Score» и сохраните изменения.

У меня ошибка
  • Симптом: метод Hybrid Search недоступен или выдаёт предупреждение об отсутствии полнотекстового индекса. — Что делать: проверьте, завершилась ли служебная задача контейнера init_permissions со статусом Exited (0), и убедитесь, что база Postgres 15 в docker-compose развёрнута без ошибок миграций.

Бот одинаково безошибочно находит товары по невнятным описаниям новичков и по точным артикулам из уст опытных снабженцев.

Проверяем результат: как понять, что всё работает

Качество корпоративной базы знаний проверяется не в переписке с ботом, а на специальном приёмочном стенде — во вкладке Retrieval Testing (Тестирование выборки) внутри самой базы знаний. Это рентген вашей базы данных, который показывает извлечённый материал до того, как к нему прикоснется генеративная модель.

Введите в поле тестирования три контрольных вопроса: один по точному артикулу из прайса (например, «Цена артикула 104-B»), второй по сложному условию регламента («Сроки возврата брака юридическим лицом») и третий общий («Чем вы занимаетесь?»). Нажмите кнопку «Test» и внимательно изучите правую колонку выдачи.

Система покажет точные карточки фрагментов, найденных в Weaviate и Postgres, с итоговым баллом релевантности (Score от 0.0 до 1.0). Если вы использовали Parent-child, вы увидите подсвеченный дочерний фрагмент, вызвавший совпадение, и развёрнутый текст родительского чанка, который отправится в промпт. Если балл выше 0.75, а текст содержит исчерпывающий ответ без мусорных обрывков соседних глав — база знаний готова к интеграции в боевые чат-флоу.

Вы принимаете работу конвейера по объективным математическим метрикам, а не надеетесь на удачу в боевом диалоге с реальным клиентом.

Итог урока

Мы настроили полноценный конвейер корпоративных знаний на базе Knowledge Pipeline в Dify v1.19.0. Разобрали, почему публикация схемы обязана предшествовать импорту файлов, и зафиксировали жесткое разделение форматов: тяжелые многостраничные инструкции отправляются в шаблон Parent-child-HQ, а структурированные прайс-листы — в Convert to Markdown без использования битых PDF. Настроив гибридный поиск Hybrid Search с весовой моделью Weighted Score, мы добились одинаково точного извлечения как сложных регламентов, так и строгих артикулов запчастей.

Чек-лист готовности

Дальше по курсу: открывайте шаг 5 — Ассистент и виджет: там выходим к людям: Chatflow, Output Routes, виджет на сайте и защита /install. Если нужно вернуться к общей картине, обзор архитектуры Dify всегда под рукой, а связку с внешними сервисами разбирайте в курсе Автоматизация на n8n.

⚡ Альтернативный путь без консоли

Сложно настраивать сервер и возиться с кодом Linux вручную?

Освойте профессию AI-инженера и автоматизатора без программирования на проверенных бесплатных интенсивах:

Универсус
Обучение работе с нейросетями Нейродоход
Plaan Academy
Прикладное обучение нейросетям от Plaan Academy
📦 Скачать прямо на сайте • Без ботов и регистрации Проверено • Ubuntu 24.04 / Dify 2026

Готовый комплект файлов и пресетов к этому уроку

Соберите персональный production-файл под свой домен прямо на странице без переходов в Telegram:

NeuroKartashov

NeuroKartashov

AI Лаборатория Евгения Карташова • База знаний по локальному ИИ, n8n и серверной независимости.

Все конфигурации Docker Compose, файлы Caddyfile и сценарии n8n проверены на стендовых серверах Ubuntu 24.04 LTS. Мы создаем открытые пошаговые руководства, чтобы вы могли развернуть защищенный независимый контур без абонентской платы.