Шесть уровней в глубину: Фреймворк управления ИИ для проверки ИИ-партнеров

Gartner ожидает, что more than 40 percent of agentic AI projects к концу 2027 года будут отменены. Причиной тому называются не качество моделей, а эскалация затрат, неясная бизнес-ценность и неадекватные средства контроля рисков. Это полностью совпадает с тем, что сегодня наблюдается в ходе переговоров с вендорами: партнер может убедительно продемонстрировать агента в работе, но не способен ответить на вопрос, что с ним произойдет на шестом месяце. Представленный ниже шестиуровневый фреймворк — это то, что технический эксперт должен проверить до того, как эти риски станут вашими.

Почему «быстрый запуск» — это не методология поставки

По собственным оценкам Gartner, число вендоров агентного ИИ с подлинными возможностями агентов составляет около 130 из тысяч тех, кто сегодня заявляет об этом. Все остальное — это то, что фирма называет «агентным замыливанием глаз» (agent washing): существующие чат-боты, RPA-скрипты и ИИ-ассистенты, переименованные в угоду более популярной категории. Ничего из этого не проявляется на продающей демонстрации. Демонстрация создается ровно для одной цели: убедить присутствующих в том, что агент может справиться с конкретной задачей прямо перед ними. Она ничего не говорит о том, что произойдет при смене версии базовой модели, когда агент столкнется с форматом документа, на котором его никто не тестировал, или когда специалист по комплаенсу через шесть месяцев после запуска запросит цепочку аудита для конкретного решения.

Шесть приведенных ниже уровней представляют собой контрольный список для устранения этого разрыва: контекст, экономика, управление, безопасность, стратегия в отношении моделей и навыки. Движение идет от стратегического соответствия к тому, что реально работает в продакшене. На трех из них большинство разговоров с вендорами тихо заходят в тунпик, и именно их стоит разобрать здесь, наряду с одним вопросом, который пронизывает все шесть и позволяет выявить, над какими из них партнер действительно подумал. Остальные три проходят такую же диагностическую процедуру — вопрос за вопросом — в полной версии руководства. В основе всех шести лежит тот же вопрос, к которому документ возвращается снова и снова: кто будет обслуживать это на втором году? Партнер, который не может ответить на этот вопрос для всех шести уровней, — это тот, кого демонстрация заставила выглядеть готовым.

Шестиуровневый консультационный фреймворк: уровень за уровнем

Контекст: Большинство корпоративных ИИ-проектов создаются на базе существующих систем (brownfield), а не с нуля (greenfield). Это различие меняет практически все на последующих этапах: грязные, изолированные данные; недокументированные интуитивные знания в головах сотрудников; системы, которые никогда не строились с интерфейсом API, который мог бы вызвать агент. Партнер, который пропускает этап исследования и доработки и сразу переходит к разработке агентов, строит решения поверх уже имеющегося хаоса, и агент очень быстро этот хаос обнажит.

Контрольная точка проверки: каково состояние данных, которые будут поступать в эту систему? Партнер, который не может ответить на этот вопрос применительно к вашим данным, еще не провел аналитическую работу.

Безопасность и управление заслуживают отдельных разделов ниже, поскольку именно в них быстрее всего проявляется реальная зрелость партнера. Три других уровня вызывают не менее острые вопросы: каковы все затраты (трудовые и нетрудовые) с течением времени; во сколько вашему последнему клиенту обошелся переход на новое поколение моделей; какие роли будут задействованы на каждом этапе и что происходит, когда кто-то из них уходит. Все это детально разбирается по уровням — вопрос за вопросом — в Руководстве по комплексной оценке ИИ-проектов от DataArt.

Безопасность по дизайну: поверхность атаки, которую никогда не показывают в демо

OWASP Top 10 for LLM Applications уже два года подряд называет промпт-инъекции риском номер один. Для агентной системы наибольшее значение имеют косвенные инъекции: агент читает запись в CRM, электронное письмо или ответ API вендора, содержащие внедренные вредоносные инструкции, при этом не существует надежного способа отличить легитимный контент от атаки, если перед ним предварительно не установлен слой санитарной очистки (sanitization).

Повышение привилегий — вот почему проектирование с наименьшими привилегиями не является опциональным

Поверх промпт-инъекций накладывается эскалация привилегий. Агент, которому предоставлен широкий доступ к системе, сам по себе становится ценной мишенью. В случае манипуляции он может задействовать разрешения, которыми не обладает ни один пользователь-человек, поэтому жесткое ограничение доступа так же важно, как и обнаружение инъекций в первую очередь.

Опора исключительно на оркестрационный фреймворк для контроля входных и выходных данных создает единую точку отказа. Архитектура производственного уровня добавляет независимый уровень защитных барьеров (guardrails) вне стека оркестрации — тот же принцип эшелонированной обороны, который службы безопасности уже повсеместно применяют, чтобы сбой на одном уровне не привел к падению всей системы.

Контрольная точка проверки: как выглядит модель угроз для этой системы и кто за нее отвечает? Если никто не может назвать владельца, за поверхностью атаки никто реально не следит.

Фреймворк управления ИИ: перенос границ HITL на HOTL

Большинство заявлений об ИИ-фреймворках управления не выдерживают столкновения с реальным аудитом. Единственный работающий подход — это четкий процесс определения того, где действует агент, а где решение одобряет человек, а не слайд из презентации для старта проекта. Человек в контуре (Human-in-the-loop, или HITL) — это синхронная версия такого процесса: агент блокируется на определенной контрольной точке и не может двигаться дальше, пока человек не проверит предлагаемое действие. Это подходит для ответственных решений с низкой частотой: изменение цен выше порогового значения, модификация пункта договора, возврат средств выше лимитов политики. Человек над контуром (Human-on-the-loop, или HOTL) — это, напротив, асинхронный аудит: агент действует самостоятельно и регистрирует каждое действие в очереди, а человек может вмешаться, отменить или откатить действие в течение заданного окна времени. Это подходит для высокоинтенсивной работы с меньшими рисками, где затраты на блокировку каждого действия превышают риски, которые несет в себе само решение.

Надежный партнер предоставляет карту HITL в качестве проектного артефакта в начале работы, а не в качестве второстепенной мысли, и проектирует ее с расчетом на развитие: какие контрольные точки имеют четкий путь перехода от HITL к HOTL по мере роста уверенности в поведении агента, а какие остаются HITL постоянно из-за требований регуляторов, контрактов или управления рисками. Ручное тестирование качества (QA) здесь не работает, поскольку оно предполагает, что один и тот же ввод каждый раз дает одинаковый вывод, а недетерминированная система так не работает. Автоматизированная оценка (automated evaluation), оценка с помощью LLM (LLM-as-a-judge), когда отдельная модель оценивает результаты по заданным критериям качества при объемах промышленной эксплуатации, переросла из необязательного улучшения в фундаментальное требование именно по этой причине.

Контрольная точка проверки: что ИИ может решать самостоятельно, а что требует участия человека? Если вы не зафиксировали эту грань письменно, это пока не модель управления, а лишь предположение.

Вопрос об SDLC для ИИ, который разоблачает случайного партнера

Каждый из описанных выше уровней держится вместе только в рамках четкого жизненного цикла, которому партнер действительно следует, а не того, который существует лишь на слайде. Спросите, как выглядит их жизненный цикл разработки ИИ (SDLC): обнаружение, сборка, тестирование, развертывание, эксплуатация, и где на каждом этапе находятся контрольные точки и пересмотры изменений модели. Расплывчатый ответ сам по себе является диагностическим; обычно это означает, что остальная часть работы ведется так же неформально. Полная разбивка жизненного цикла по этапам представлена в Руководстве.

Заключение: изучите фреймворк до того, как читать коммерческое предложение

В предложении описывается то, что партнер обещает создать. Этот фреймворк описывает то, что должно быть реализовано после завершения работ, начиная с трех верхних уровней: системы, которой ваша собственная команда может управлять, модели управления, которая успешно проходит аудит, и концепции безопасности, которая не рассматривает поверхность атаки как чужую проблему. Экономика, стратегия внедрения моделей и навыки определяют, останется ли эта система доступной по цене и актуальной, и именно здесь решается исход большинства сравнений поставщиков.

Оцените потенциального партнера по всем шести пунктам, прежде чем сравнивать его расценки с чьими-либо еще. Более низкая цена в сочетании с поверхностными ответами на вопросы управления или безопасности на самом деле не является более выгодным вариантом, а те уровхи, которые вы еще не протестировали на прочность, обычно оборачиваются дополнительными затратами в будущем.

Три уровня позади, еще три впереди, и те же шесть вопросов актуальны независимо от того, задаете ли вы их самостоятельно или передаете тому, у кого уже есть ответы. Этот фреймворк составлен на основе руководства DataArt по комплексной проверке проектов в сфере ИИ (DataArt's AI Engagement Diligence Guide), в котором все шесть аспектов рассмотрены с одинаковой глубиной. Лаборатория ИИ и МО компании DataArt использует его для проведения комплексной проверки конкретного проекта: вашей архитектуры, вашей модели затрат и вашей готовности к управлению, проверяемых до подписания контракта, а не после его заключения.