ИИ быстро превращается из инструмента, который люди используют для генерации информации и рекомендаций, в технологию, способную все более автономно действовать от их имени. Этот сдвиг вызывает общественную дискуссию о том, как можно разделить уверенность в системах, действующих все более автономно, и кто должен нести ответственность за ее обеспечение. В последнем исследовании PwC «Дивиденд доверия к ИИ: три изменения в управлении для укрепления доверия к автономности агентного ИИ» мы рассматриваем, что этот сдвиг означает для организаций, начинающих внедрять ИИ-агенты с повышенной автономностью в свой бизнес.
Возможности огромны. То же самое касается и изменений в том, как компании подходят к вопросу доверия. Исследование эффективности ИИ, проведенное PwC, показало, что 20% организаций, получающих львиную долю экономической выгоды от ИИ, примерно в два раза чаще своих конкурентов используют ИИ на автономной основе.
По мере того как ИИ встраивается в бизнес-процессы, доверие не должно существовать только в виде политик, принципов или проверок, проводимых до развертывания системы. Оно должно все в большей степени встраиваться в повседневную работу ИИ: кто или что уполномочено действовать, какие решения может принимать агент, как эти действия отслеживаются и когда человеку необходимо вмешаться.
Другими словами, доверие должно стать операционным. Оно также должно стать очевидным. Все чаще вопрос заключается не в том, уверен ли руководящий состав в системе, а в том, пришел бы кто-то со стороны компании к такому же выводу.
Человеческий надзор эволюционирует вместе с ИИ
Сохранение надлежащего участия человека долгое время было важным принципом ответственного ИИ, и это не меняется. Меняется то, какую роль люди должны играть по мере того, как ИИ-системы приобретают все большую способность выполнять работу.
Когда организация экспериментирует с относительно небольшим количеством приложений ИИ, люди могут принимать непосредственное участие в проверке результатов и утверждении решений. Когда же организации начинают развертывать целые портфели агентов, способных выполнять многоэтапные процессы и взаимодействовать в различных системах, проверка каждого отдельного действия становится все более сложной задачей.
Это не делает человеческий надзор менее важным. Это делает четкую подотчетность человека еще более важной.
Роль человека все больше смещается в сторону проектирования среды, в которой действуют агенты: установление целей и защитных механизмов, определение прав на принятие решений, определение областей, где человеческое суждение не подлежит обсуждению, и создание четких точек эскалации, когда агент сталкивается с чем-то, выходящим за рамки его полномочий или ожиданий.
В конечном счете у каждого агента должен быть подотчетный владелец из числа бизнеса. Подотчетность, которую невозможно подтвердить документально, является скорее намерением, чем средством контроля. Практическая проверка заключается в том, смог бы владелец задним числом показать, на что был уполномочен агент, что он сделал на самом деле и где вмешался человек. Руководители должны знать, за что отвечает агент, что ему разрешено делать и когда человеку необходимо одобрить, проверить или отменить его действия.
Относитесь к агентам как к части рабочей силы
Один из практических способов осмыслить это — рассматривать ИИ-агентов как часть более широкой рабочей силы организации.
Компании знают, кто их сотрудники. Они определяют роли и обязанности, устанавливают права доступа и полномочия по принятию решений, оценивают производительность и определяют, кто несет ответственность за результаты. По мере того как агенты начинают выполнять более значимую работу, организациям потребуется применять многие из этих же дисциплин для своей нечеловеческой рабочей силы — с элементами контроля, соответствующими рискам и степени автономности.
Это означает необходимость знать, какие агенты работают в организации, и назначать каждому из них четкую роль, соответствующий доступ и определенные границы. Это также означает сохранение достаточных доказательств того, что делают агенты, чтобы организации могли понимать, продолжают ли они работать так, как задумывалось.
Это сложнее, чем кажется. Многие организации имеют четкое представление об агентах, которых они создали сами, и гораздо более туманное — о тех, которые появляются внутри купленного ими программного обеспечения. Возможности внедряются в корпоративные платформы и встраиваются провайдерами услуг быстрее, чем документация, описывающая их, а это значит, что проблема инвентаризации может возникнуть еще до того, как кто-либо принял осознанное решение о развертывании агента.
Именно здесь особую важность приобретает наблюдаемость, и именно здесь обнаруживается типичный пробел. Мониторинг агентов, создаваемый сегодня, часто ориентирован на инженерные цели: выявление сбоев, повышение производительности и управление затратами. К доказательствам предъявляются другие требования. Они должны сохраняться достаточно долго, чтобы быть полезными, быть устойчивыми к изменениям и позволять воссоздать условия, существовавшие на момент совершения действия. Это проектные решения, и принимать их сейчас значительно дешевле, чем переделывать впоследствии.
Организации должны иметь возможность понимать существенные действия, предпринятые агентом, информацию, на которую он опирался, где возникали исключения и когда проблема эскалировалась. Цель состоит не в том, чтобы фиксировать абсолютно все просто потому, что это позволяет технология. Уровень надзора и доказательств должен отражать важность процесса и степень автономности, предоставленную агенту.
Выстраивайте надзор за тем, как функционирует ИИ
Управление ИИ традиционно уделяло большое внимание тому, что происходит до развертывания: как была спроектирована модель, какие данные она использует, как она тестировалась и была ли она одобрена.
Эти основы остаются важными. Но более автономные системы повышают значимость и того, что происходит после развертывания.
ИИ-системы и окружающая их среда могут меняться. Часть этих изменений будет исходить извне организации. Модели, инструменты и базовые сервисы обновляются провайдерами по собственному расписанию, а это значит, что система может вести себя иначе, даже если никто внутри компании ничего не менял. Их использование также может меняться. И по мере того как агенты начинают взаимодействовать с другими агентами, инструментами и бизнес-процессами, организациям необходимы способы определять, когда производительность или поведение выходят за рамки ожиданий.
Для более ответственных задач это означает переход к более непрерывному мониторингу и создание возможности вмешиваться в случае необходимости. Вопрос больше не ограничивается тем, была ли ИИ-система должным образом спроектирована и протестирована при запускe. Руководителям также необходима уверенность в том, что она продолжает работать в соответствии со своим предназначением и установленными границами с течением времени.
Этот сдвиг также может открыть новые возможности. Агентные системы могут быть спроектированы так, чтобы в процессе работы генерировать более подробные доказательства своих действий, решений, одобрений и исключений. При правильном подходе организации могут формировать необходимый архив данных по ходу дела, а не пытаться восстанавливать его задним числом после какого-то инцидента. Также важно, кому в конечном итоге служит этот архив — внутри компании или за ее пределами. Советы директоров, клиенты, контрагенты и регуляторы начинают задавать разные версии одного и того же вопроса, но они могут не принять одинаковый ответ для всех.
Доверие должно способствовать прогрессу
Все это делается вовсе не ради усложнения процессов самих по себе или замедления инноваций в сфере ИИ. Цель заключается в совершенно противоположном.
По мере того как организации предоставляют ИИ все большую автономию, им необходима уверенность в том, что системы, выполняющие эту работу, действуют в рамках установленных бизнесом границ. Внедрение подотчетности, наблюдаемости и контроля в ИИ с самого начала может дать руководителям больше уверенности в расширении его использования и направить их внимание на те области, где ИИ способен создавать значимые бизнес-результаты.
Значительная часть текущих общественных дебатов об ИИ на самом деле сводится к вопросам верификации и независимого подтверждения соответствия: кто оценивает эти системы, по каким критериям и что эта оценка значит для того, кто на нее полагается. Эти вопросы решаются на переднем крае постепенно и публично. В давно устоявшиеся компании они проникают быстрее и имеют более сильные немедленные последствия. Организации, которые сделают доверие к ИИ частью своей операционной деятельности наряду со своими амбициями в области ИИ, скорее всего, будут лучше подготовлены к тому, чтобы ответить на эти вопросы, перейти от экспериментов к уверенности в масштабируемом формате и извлечь больше ценности, которую может создать ИИ.
