У каждого агента есть обвязка. Кто контролирует вашу?

Тема суверенитета ИИ стала повсеместной (ее донесли до масс через CNBC, а для тех, кто постоянно находится в сети, она доступна в виде волны эссе от генеральных директоров и цитируемых твитов).

В deepset мы работали над суверенным ИИ еще до того, как узнали о существовании этого термина. С самого первого дня наша миссия заключалась в том, чтобы помочь организациям создавать и запускать ИИ на своих собственных условиях, не будучи привязанными к конкретному поставщику, модели или стеку.

Часто дискуссии сводят суверенитет к развертыванию: где размещаются модели и чья инфраструктура лежит в их основе. Это необходимые, но недостаточные соображения. Каждый агент работает внутри обвязки: цикла, инструментов, памяти, контекста и элементов управления, которые превращают вызов модели в систему. Если вы не можете понять эту обвязку или отказаться от нее, перенос в более безопасную среду не сделает ее вашей.

Суверенитет должен быть свойством самой архитектуры.

Ваш самый ценный актив — это то, что накапливается вокруг модели.

Запустите агентную систему в продакшене на полгода и посмотрите, что накопилось вокруг нее: инструкции, которые кодируют то, как ваша команда думает и работает. Навыки, отточенные экспертными суждениями. Тесты и оценки, которые определяют, достаточно ли хорош результат для выпуска. Исправления, основанные на обратной связи, которую могли дать только ваши сотрудники. Рабочие процессы, воспоминания и соглашения, отражающие то, как функционирует организация.

Вместе они формируют институциональный интеллект. Модель можно заменить, а это — нет. Таким образом, наряду с развертыванием возникает второй вопрос: не где работает модель, а какую форму должен принимать этот интеллект.

Генеральный директор Decagon Джесси Чжан хорошо резюмирует появляющийся ответ: в артефактах, которые модели используют в контексте, а не в весах модели. Артефакты можно проверять, обновлять и удалять, и они сохраняются при смене модели.

Но, на наш взгляд, перенос знаний за пределы модели не делает их автоматически суверенными. Если этот интеллект живет в артефактах, возникает третий вопрос: кто контролирует эти артефакты?

Навык, который вы не можете прочитать, работающий внутри цикла, который вы не можете проверить, на инфраструктуре, которую вы не можете покинуть, не устраняет привязку к поставщику. Он переносит зависимость от весов модели на обвязку вокруг них.

Все три вопроса ведут к одному и тому же, и именно это дает Haystack 3.0: контроль над знаниями, которые использует агент, логикой, управляющей его действиями, средой, в которой он работает, и доказательствами, по которым можно понять его производительность. Он добавляет модульные навыки, агентские хуки и более глубокую интроспекцию к двум принципам, на которых Haystack строится годами: независимости от моделей и контролю с открытым исходным кодом.

Фундамент Haystack

Стек переживет любую модель. В Haystack модели являются компонентами более широкой системы. Конвейеры и логика агентов не зависят от провайдера. Замените модель из-за цены, возможностей или юрисдикции, и все, что вы построили, останется с вами.

Фреймворк остается под вашим контролем. Haystack — это открытое ПО: изменяйте код, расширяйте его компоненты и работайте в выбранной вами среде. Эта открытость означает, что созданная вами обвязка не перестанет работать вместе с лицензией поставщика, не исчезнет за проприетарным сервисом и не изменит поведение непрозрачным образом при следующем обновлении. Вот почему такие строго регулируемые организации, как Европейская комиссия и Bosch, доверяют Haystack в продакшене.

Что добавляет Haystack 3.0

Навыки превращают знания в артефакты. Навык — это папка с файлами внутри вашего периметра: читайте, версионируйте, делитесь или удаляйте их. В Haystack 3.0 агенты обнаруживают навыки во время выполнения посредством прогрессивного раскрытия — сначала название и описание навыка, а полное содержание только тогда, когда этого требует задача, — вместо одного большого системного промпта, содержащего все инструкции.

Навыки не охватывают все формы корпоративных знаний. Данные, память, оценки, трассировки и обратная связь имеют разные требования. Но они делают один критически важный слой переносимым: инструкции, которые говорят агенту, как организация хочет, чтобы работа была выполнена.

Хуки делают агентный цикл программируемым. Команды могут вставлять свою собственную логику в определенные точки: в начале или конце запуска, перед каждым вызовом модели, вокруг выполнения инструмента и при выходе.

Этот контроль поддерживает производственные паттерны, необходимые предприятиям: проверка конфиденциальных данных перед тем, как они попадут в модель, сбор правильного контекста перед началом работы, его сжатие, когда он становится слишком большим, и требование одобрения перед запуском инструмента с высоким уровнем воздействия.

Это также делает стоимость проектным решением. Команды могут использовать подсчет токенов и шагов в реальном времени, чтобы инициировать сжатие, ограничивать бесконечные циклы или изменять поведение по мере приближения запуска к определенному бюджету.

Интроспекция показывает, что произошло. Haystack 3.0 предоставляет использование токенов, количество шагов и количество вызовов инструментов в качестве встроенного состояния во время выполнения. Обновленная трассировка выдает спаны уровня шага, помеченные инструментами, которые использовал каждый шаг. Когда агент выдает неожиданный результат, вы видите точно, что он сделал и в каком порядке, вместо того чтобы восстанавливать запуск по разрозненным логам.

Три дополнительных улучшения делают фреймворк проще для тестирования и аудита:

• Встроенные генераторы моков и эмбеддеры позволяют командам разрабатывать и тестировать агентов без внешних вызовов API, переменных ответов провайдера или затрат на использование при каждом тесте.
• Более компактное ядро переносит устаревшие компоненты и выбранные интеграции в отдельные пакеты. Установка по умолчанию имеет меньше зависимостей, в то время как интеграции могут выпускать исправления независимо от основного фреймворка.
• Десериализация YAML усилена через белый список доверенных модулей. Определение конвейера может загружать классы только из модулей, которые организация явно разрешила, что снижает риск загрузки недоверенного кода через общие файлы конфигурации.

Создавайте с Haystack 3.0

У каждого агента есть обвязка. Суверенитет — это решение о том, кто контролирует вашу. Цикл, который вы можете прочитать, контекст, который вы можете сохранить, модель, которую вы можете заменить. Именно для этого создан Haystack 3.0. Установите его, прочитайте руководство по миграции и начинайте создавать.

pip install haystack-ai · [Блог Haystack] · руководство по миграции · [документация]

Интересуетесь созданием ИИ-приложений и агентов?