Мы часто рассматриваем человеческий контроль как страховочную сеть для ИИ.
Пусть ИИ подготовит рекомендацию и предложит действие, а затем мы включим человека в контур для его одобрения.
Проблема решена.
За исключением одного неудобного вопроса:
Что происходит, когда человек перестает проверять и просто начинает нажимать кнопки?
По мере того как ИИ-агенты выполняют все больше действий, количество решений, требующих одобрения человека, может быстро расти. Человек, получивший один необычный запрос, может изучить его внимательно. Человек, получающий сотни похожих запросов каждый день, — вряд ли.
В какой-то момент «человек в контуре» превращается в человека, который просто нажимает «одобрить».
Это предположение звучит разумно: люди обеспечивают суждение, контекст и подотчетность, которых не хватает ИИ. Но простое добавление человека в рабочий процесс не гарантирует ничего из этого.
NIST предостерегает от предположения, что человеческий надзор автоматически обеспечит эффективное управление. Лица, принимающие решения, привносят свои собственные когнитивные искажения, и эффективность различных конфигураций «человек-ИИ» сильно зависит от того, как распределены роли и обязанности.
Исследования также показывают, насколько легко люди могут чрезмерно полагаться на автоматизированные системы.
В одном эксперименте с участием 292 человек участники следовали алгоритмическим рекомендациям более охотно, чем аналогичным рекомендациям от людей. Что еще важнее, когда участники могли контролировать и корректировать автоматизированные рекомендации, они реже вмешивались, когда алгоритм совершал свои самые серьезные ошибки. Исследователи пришли к выводу, что включение человека в контур увеличило использование автоматизации, одновременно снизив точность принятия решений в их эксперименте.
Это и есть предвзятость автоматизации: склонность слишком сильно полагаться на автоматизированные результаты.
Закон ЕС об ИИ прямо признает этот риск. В статье 14 для систем ИИ с высоким уровнем риска говорится, что лица, ответственные за человеческий надзор, должны понимать ограничения системы, правильно интерпретировать результаты, иметь возможность отменять или пересматривать их, а также осознавать склонность к чрезмерному доверию рекомендациям, созданным ИИ.
Другими словами, регулятор не считает само присутствие человека достаточным. Человек должен быть действительно способен бросить вызов системе. В этом смысле одобрение не всегда означает, что было вынесено суждение.
Представьте себе ИИ-агента, занимающегося закупками.
Большинство транзакций являются рутинными. Агент готовит действие и просит сотрудника одобрить его.
Одобрить. Одобрить. Одобрить. Одобрить.
После сотен правильных рекомендаций появляется еще одно одобрение.
Насколько внимательно сотрудник проверяет номер 237?
Эта проблема становится еще сложнее с автономными агентами. Традиционное приложение может требовать периодического одобрения. Агент же потенциально может выполнять сотни или тысячи действий, работая над достижением цели.
Участники OpenID подняли именно этот вопрос масштабируемости: одобрение каждого действия может привести к усталости от согласия и рефлекторному одобрению, подрывая контроль, который оно должно было обеспечивать.
Поэтому, возможно, вопрос должен заключаться не в том, куда мы можем вставить одобрение человека, а в том, где человеческое суждение действительно добавляет ценность? Возможно, людям следует управлять границами, а не кликами.
Осмысленный человеческий надзор может потребовать другой модели.
Вместо того чтобы просить людей одобрять каждое рутинное действие, организации могут заранее определить, что агенту разрешено делать самостоятельно, а что требует эскалации.
Например:
Агент может обрабатывать стандартные транзакции ниже определенного порога риска.
Но необычный платеж, исключение из правил, доступ к конфиденциальным данным или действие, превышающее установленный финансовый порог, могут потребовать проверки человеком. Тогда человек фокусирует внимание там, где важно суждение, вместо того чтобы становиться «узким местом» для тысяч предсказуемых решений.
Недавняя работа NIST по мониторингу ИИ после развертывания определяет масштабирование мониторинга, управляемого человеком, как открытую проблему и задается вопросом, как надзор должен варьироваться в зависимости от риска и варианта использования.
Возможно, это более важный принцип.
Человеческий надзор должен быть спроектирован вокруг риска, а не вокруг успокаивающего присутствия кнопки «одобрить».
Проверяйте и человека в контуре
Прежде чем объявить процесс безопасным, потому что он включает одобрение человека, спросите:
- Сколько решений должен проверить этот человек?
- Достаточно ли у него информации, чтобы оспорить ИИ?
- Понимает ли он, за что несет ответственность?
- Как часто он отменяет рекомендацию?
- Распознал бы он необычный или опасный запрос?
- Измеряем ли мы, действительно ли работает надзор?
Человеческий надзор может быть чрезвычайно ценным, но только тогда, когда человек действительно осуществляет надзор.
Потому что, в конечном счете, фразы «человек одобрил это» и «человек осмысленно проверил это» — не одно и то же.
