Тема суверенитета в области ИИ стала повсеместной (ее донесли до масс через CNBC, а для тех, кто не вылезает из сети, она доступна в виде волны эссе от генеральных директоров и цитируемых твитов).
В deepset мы работали над суверенным ИИ еще до того, как узнали о существовании этого термина. С самого первого дня наша миссия заключалась в том, чтобы помочь организациям создавать и запускать ИИ на своих собственных условиях, не будучи привязанными к конкретному поставщику, модели или стеку.
Часто дискуссии сводят суверенитет к развертыванию: где размещаются модели и чья инфраструктура лежит в их основе. Это необходимые соображения, но их недостаточно. Каждый агент работает внутри «упряжи»: цикла, инструментов, памяти, контекста и элементов управления, которые превращают вызов модели в систему. Если вы не можете понять эту упряжь или отказаться от нее, перенос в более безопасную среду не сделает ее вашей.
Суверенитет должен быть свойством самой архитектуры.
Ваш самый ценный актив — это то, что накапливается вокруг модели.
Запустите агентную систему в промышленную эксплуатацию на полгода и посмотрите, что накопилось вокруг нее: инструкции, которые кодируют то, как ваша команда думает и работает. Навыки, отточенные на основе экспертных суждений. Тесты и оценки, которые решают, достаточно ли хорош результат для выпуска. Исправления, основанные на обратной связи, которую могли дать только ваши сотрудники. Рабочие процессы, воспоминания и соглашения, отражающие то, как функционирует организация.
В совокупности они формируют институциональный интеллект. Модель можно заменить, а это — нет. Таким образом, наряду с развертыванием возникает второй вопрос: не где запускается модель, а какую форму должен принимать этот интеллект.
Генеральный директор Decagon Джесси Чжан хорошо резюмирует появляющийся ответ: в артефактах, которые модели используют в контексте, а не в весах модели. Артефакты можно проверять, обновлять и удалять, и они сохраняются при смене модели.
Но, на наш взгляд, перенос знаний за пределы модели не делает их автоматически суверенными. Если этот интеллект живет в артефактах, возникает третий вопрос: кто контролирует эти артефакты?
Навык, который вы не можете прочитать, работающий внутри цикла, который вы не можете проверить, на инфраструктуре, которую вы не можете покинуть, не устраняет привязку к поставщику. Он переносит зависимость с весов модели на упряжь вокруг них.
Все три вопроса ведут к одному и тому же, и именно это дает Haystack 3.0: контроль над знаниями, которые использует агент, логикой, управляющей его действиями, средой, в которой он работает, и доказательствами, по которым можно понять его производительность. Он добавляет модульные навыки, агентные хуки и более глубокую интроспекцию к двум принципам, на которых Haystack строится годами: независимости от моделей и контролю с открытым исходным кодом.
Фундамент Haystack
Стек переживет любую модель. В Haystack модели являются компонентами более широкой системы. Конвейеры и логика агентов не зависят от провайдера. Замените модель из-за цены, возможностей или юрисдикции, и все, что вы построили, останется с вами.
Фреймворк остается под вашим контролем. Haystack — это открытое ПО: изменяйте код, расширяйте его компоненты и работайте в выбранной вами среде. Эта открытость означает, что созданная вами упряжь не истекает вместе с лицензией поставщика, не исчезает за проприетарным сервисом и не меняет поведение непрозрачным образом при следующем обновлении. Вот почему такие строго регулируемые организации, как Европейская комиссия и Bosch, доверяют Haystack в промышленной эксплуатации.
Что добавляет Haystack 3.0
Навыки превращают знания в артефакты. Навык — это папка с файлами внутри вашего периметра: читайте, версионируйте, делитесь или удаляйте их. В Haystack 3.0 агенты обнаруживают навыки во время выполнения посредством прогрессивного раскрытия — сначала название и описание навыка, а полное содержание только тогда, когда этого требует задача, — вместо одного большого системного промпта, содержащего каждую инструкцию.
Навыки не охватывают все формы корпоративных знаний. Данные, память, оценки, трассировки и обратная связь имеют разные требования. Но они делают переносимым один критически важный слой: инструкции, которые говорят агенту, как организация хочет, чтобы работа была выполнена.
Хуки делают агентный цикл программируемым. Команды могут вставлять свою собственную логику в определенные точки: в начале или конце запуска, перед каждым вызовом модели, вокруг выполнения инструмента и при выходе.
Такой контроль поддерживает производственные паттерны, необходимые предприятиям: проверка конфиденциальных данных перед тем, как они попадут в модель, сбор правильного контекста перед началом работы, его сжатие, когда он становится слишком большим, и требование одобрения перед запуском инструмента с высоким уровнем воздействия.
Это также делает стоимость проектным решением. Команды могут использовать подсчет токенов и шагов в реальном времени, чтобы запускать сжатие, ограничивать бесконечные циклы или изменять поведение по мере приближения запуска к определенному бюджету.
Интроспекция показывает, что произошло. Haystack 3.0 предоставляет использование токенов, количество шагов и количество вызовов инструментов в качестве встроенного состояния во время выполнения. Обновленная трассировка выдает спаны уровня шага, помеченные инструментами, которые использовал каждый шаг. Когда агент выдает неожиданный результат, вы видите точно, что он сделал и в каком порядке, вместо того чтобы восстанавливать запуск по разрозненным логам.
Три дополнительных улучшения делают фреймворк проще для тестирования и аудита:
- Встроенные генераторы заглушек и эмбеддеры позволяют командам разрабатывать и тестировать агентов без внешних вызовов API, переменных ответов провайдера или затрат на использование при каждом тесте.
- Более компактное ядро переносит устаревшие компоненты и выбранные интеграции в отдельные пакеты. Установка по умолчанию имеет меньше зависимостей, а интеграции могут выпускать исправления независимо от основного фреймворка.
- Десериализация YAML усилена через список разрешенных доверенных модулей. Определение конвейера может загружать классы только из модулей, которые организация явно разрешила, что снижает риск загрузки недоверенного кода через общие файлы конфигурации.
Создавайте с Haystack 3.0
У каждого агента есть упряжь. Суверенитет — это решение о том, кто управляет вашей. Цикл, который вы можете прочитать, контекст, который вы можете сохранить, модель, которую вы можете заменить. Именно для этого создан Haystack 3.0. Установите его, прочитайте руководство по миграции и начинайте строить.
pip install haystack-ai · [Блог Haystack] · руководство по миграции · [документация]
