ИИ быстро превращается из инструмента, который люди используют для генерации информации и рекомендаций, в технологию, способную все чаще действовать от их имени. Этот сдвиг провоцирует общественную дискуссию о том, как можно разделить уверенность в системах, которые все чаще действуют автономно, и кто должен нести ответственность за ее обеспечение. В последнем отчете PwC «Дивиденд доверия к ИИ: три сдвига в управлении для укрепления доверия к автономности агентного ИИ» мы исследуем, что этот сдвиг означает для организаций, начинающих внедрять ИИ-агентов с большей степенью автономности в своих бизнес-процессах.
Возможности значительны. Как и изменения в том, как компании относятся к доверию. Исследование эффективности ИИ, проведенное PwC, показало, что 20% организаций, получающих основную часть экономической выгоды от ИИ, примерно в два раза чаще своих конкурентов используют ИИ автономно.
По мере внедрения ИИ в бизнес-процессы доверие не должно ограничиваться только политиками, принципами или проверками, проводимыми до развертывания системы. Оно должно все больше встраиваться в то, как ИИ работает каждый день: кто или что уполномочено действовать, какие решения может принимать агент, как эти действия отслеживаются и когда человеку необходимо вмешаться.
Другими словами, доверие должно стать операционным. Оно также должно стать доказуемым. Все чаще вопрос заключается не в том, уверено ли руководство в системе, а в том, пришел бы к такому же выводу кто-то за пределами компании.
Человеческий контроль развивается вместе с ИИ
Обеспечение надлежащего участия человека долгое время было важным принципом ответственного ИИ, и это не меняется. Меняется роль, которую люди должны играть по мере того, как системы ИИ становятся более способными выполнять работу.
Когда организация экспериментирует с относительно небольшим количеством приложений ИИ, люди могут непосредственно участвовать в проверке результатов и утверждении решений. По мере того как организации начинают развертывать портфели агентов, способных выполнять многоэтапные процессы и взаимодействовать между системами, проверка каждого отдельного действия становится все более сложной.
Это не делает человеческий контроль менее важным. Это делает четкую ответственность человека еще более важной.
Роль человека все больше смещается в сторону проектирования среды, в которой работают агенты: установление целей и ограничений, определение прав на принятие решений, определение областей, где суждение человека является обязательным, и создание четких точек эскалации, когда агент сталкивается с чем-то, выходящим за рамки его полномочий или ожиданий.
Каждый агент в конечном итоге нуждается в ответственном владельце бизнеса. Ответственность, которую невозможно подтвердить, — это скорее намерение, чем контроль. Практический тест заключается в том, может ли владелец показать постфактум, что агенту было разрешено делать, что он сделал на самом деле и где вмешался человек. Руководители должны знать, за что отвечает агент, что ему разрешено делать и когда человеку необходимо одобрить, проверить или отменить его действия.
Относитесь к агентам как к части рабочей силы
Один из практических способов осмыслить это — рассматривать ИИ-агентов как часть более широкой рабочей силы организации.
Компании знают, кто их сотрудники. Они определяют роли и обязанности, устанавливают права доступа и полномочия по принятию решений, оценивают производительность и определяют, кто несет ответственность за результаты. По мере того как агенты начинают выполнять более значимую работу, организациям потребуются многие из тех же дисциплин для своей нечеловеческой рабочей силы — с мерами контроля, соответствующими рискам и степени автономности.
Это означает знание того, какие агенты работают в организации, и предоставление каждому из них определенной роли, соответствующего доступа и четких границ. Это также означает сохранение достаточных доказательств того, что делают агенты, чтобы организации могли понять, продолжают ли они работать так, как предполагалось.
Это сложнее, чем кажется. Многие организации имеют разумное представление об агентах, которых они создали сами, и гораздо более слабое представление о тех, которые появляются внутри приобретенного ими программного обеспечения. Возможности встраиваются в корпоративные платформы и сервисы быстрее, чем документация, описывающая их, а это означает, что проблема инвентаризации может возникнуть еще до того, как кто-либо примет осознанное решение о развертывании агента.
Именно здесь наблюдаемость становится особенно важной и где появляется общий пробел. Мониторинг агентов, создаваемый сегодня, часто фокусируется на инженерных целях: выявлении сбоев, повышении производительности и управлении затратами. У доказательств другие требования. Они должны сохраняться достаточно долго, чтобы быть полезными, быть устойчивыми к изменениям и позволять кому-то реконструировать условия, существовавшие в момент совершения действия. Это проектные решения, и их гораздо дешевле принять сейчас, чем внедрять позже.
Организации должны иметь возможность понять существенные действия, предпринятые агентом, на какую информацию он опирался, где возникали исключения и когда проблема была эскалирована. Цель не в том, чтобы фиксировать все просто потому, что технология это позволяет. Уровень контроля и доказательств должен отражать значимость процесса и автономность, предоставленную агенту.
Создайте систему контроля за тем, как работает ИИ
Управление ИИ традиционно уделяло значительное внимание тому, что происходит до развертывания: как была спроектирована модель, какие данные она использует, как она тестировалась и была ли она одобрена.
Эти основы остаются важными. Но более автономные системы повышают важность того, что происходит и после развертывания.
Системы ИИ и их окружение могут меняться. Часть этих изменений будет происходить за пределами организации. Модели, инструменты и базовые сервисы обновляются провайдерами по их собственному графику, что означает, что система может вести себя иначе, даже если никто внутри компании ничего не менял. Их использование может измениться. И по мере того, как агенты начинают взаимодействовать с другими агентами, инструментами и бизнес-процессами, организациям нужны способы выявления моментов, когда производительность или поведение выходят за рамки ожиданий.
Для использования с более высоким уровнем воздействия это означает переход к более непрерывному мониторингу и создание возможности вмешательства при необходимости. Вопрос больше не только в том, была ли система ИИ должным образом спроектирована и протестирована при запуске. Руководителям также нужна уверенность в том, что она продолжает работать в рамках своего целевого назначения и границ с течением времени.
Этот сдвиг также может создать возможности. Агентные системы могут быть спроектированы так, чтобы генерировать более богатые доказательства своих действий, решений, одобрений и исключений по мере их работы. Если все сделано правильно, организации могут создавать необходимый учет в процессе работы, а не пытаться восстановить его после того, как что-то произошло. Также важно, кому этот учет в конечном итоге служит — внутренним или внешним сторонам. Советы директоров, клиенты, контрагенты и регулирующие органы начинают задавать версии одного и того же вопроса, но они могут не принять один и тот же ответ.
Доверие должно способствовать прогрессу
Все это не о создании большего количества процессов ради самих процессов или замедлении инноваций в области ИИ. Цель прямо противоположная.
По мере того как организации предоставляют ИИ все большую автономию, им необходима уверенность в том, что системы, выполняющие эту работу, действуют в рамках установленных бизнесом границ. Внедрение подотчетности, наблюдаемости и контроля в ИИ с самого начала может дать руководителям больше уверенности в расширении его использования и позволить сосредоточить внимание на тех областях, где ИИ может принести значимые бизнес-результаты.
Значительная часть текущих общественных дискуссий об ИИ на самом деле является дискуссией о верификации и независимом обеспечении: кто оценивает эти системы, по каким критериям и что эта оценка означает для тех, кто на нее полагается. Эти вопросы решаются на передовой, медленно и публично. В давно существующих компаниях они возникают быстрее и имеют более непосредственные последствия. Организации, которые сделают доверие к ИИ операционным аспектом наряду со своими амбициями в области ИИ, вероятно, будут лучше подготовлены к тому, чтобы ответить на эти вопросы, перейти от экспериментов к уверенному масштабированию и получить больше ценности, которую может создать ИИ.