Чем больше работы ИИ-агенты выполняют самостоятельно, тем сложнее понять, когда людям следует вмешаться.
Паула Голдман, директор по этичному и гуманному использованию технологий в Salesforce, рассказала в интервью изданию IBM Think, что привычная концепция «человека в контуре управления» больше не применима к системам ИИ, выполняющим сложные задачи. В своей новой книге «Управляй машиной» она выступает за то, чтобы вместо этого поставить людей «у руля», предоставив им полномочия устанавливать границы, вмешиваться при необходимости и определять, как ИИ меняет их работу.
Ниже приводится отредактированная и сокращенная для ясности версия интервью.
Что побудило вас написать книгу «Управляй машиной» и почему, по вашему мнению, человеческий фактор при внедрении ИИ часто упускается из виду?
Сплошь и рядом мы рассматриваем ИИ исключительно как техническую задачу. Но человеческий фактор, включая организационные вопросы, имеет не меньшее, а иногда и более важное значение.
Я занимаюсь вопросами этики ИИ уже почти десять лет. Когда в 2022 году ИИ завладел умами общественности, мне стали звонить друзья, клиенты и политики. Было много энтузиазма и много страха. Некоторые воспринимали ИИ как неумолимую силу, надвигающуюся на нас.
Это было полной противоположностью моему опыту. Работая с клиентами и наблюдая за нашей собственной трансформацией в Salesforce, я поняла, что именно постановка человека во главу угла и понимание того, как люди и ИИ работают вместе, приводят к правильным результатам.
У вас антропологическое образование. Что вы заметили в процессе внедрения ИИ, чего могут не замечать технологические специалисты?
Люди, которые ближе всего к работе, должны помогать определять, как используется ИИ. Они часто знают, где он может помочь, а где — помешать.
В книге я рассказываю историю о посещении местного городского совета в Великобритании. Они тестировали ИИ, чтобы помочь социальным работникам вести заметки и фиксировать дальнейшие шаги после выездов на места. Интересно, что социальные работники отвергли эту систему.
Причина заключалась в мелочи, которую было бы легко исправить. Они хотели возвращаться в офис после визитов, чтобы устроить мозговой штурм с коллегами и обсудить сложные случаи, а не перекладывать этот груз на своих супругов.
Пилотный проект был внедрен так, что он заменял привычный рабочий ритуал, который они ценили. Вопрос о том, как ИИ должен вписываться в их работу, имел бы огромное значение.
Вы утверждаете, что компании должны перейти от концепции «человека в контуре» к «человеку у руля». В чем разница?
Сегодня под «человеком в контуре» обычно понимается ситуация, когда ИИ что-то создает, а вы это одобряете или нажимаете кнопку отправки.
Это теряет всякий смысл в мире ИИ-агентов. Такой подход практически сводит на нет саму их суть.
Если агент выполняет сложную работу от вашего имени, вы делегируете задачи с множеством промежуточных шагов, затрагивающих массу данных. Для человека практически невозможно просмотреть их все. А если вы все равно все проверяете, какой смысл в агенте?
Нам нужно что-то лучшее, и именно это мы называем «человеком у руля».
Во-первых, вы должны иметь возможность заранее задать параметры: «Вот что я хочу, чтобы ты сделал, и я не хочу, чтобы ты выходил за эти рамки».
Во-вторых, система должна передавать задачу наверх, когда требуется экспертная оценка или когда решение выходит за рамки этих параметров.
В-третьих, вам нужна система, которая расширяет ваши возможности на работе, увеличивая вашу самостоятельность, творческий потенциал и способность принимать решения.
Как убедиться, что люди действительно обращают внимание на запросы ИИ-агента, когда ему требуется их оценка?
Из исследований известно, что когда ИИ один-два раза выдает правдоподобный результат, люди начинают ему доверять и перестают критически его оценивать. А если предупреждения поступают слишком часто, они вообще могут перестать обращать на них внимание.
Я испытала это на собственном опыте, когда создавала веб-сайт с помощью интуитивного программирования (vibe coding). У меня стояли неправильные настройки, поэтому каждый раз, когда мой ИИ-агент хотел зайти на внешний сайт, он запрашивал разрешение.
На то была веская причина. Он пытался предотвратить атаки с внедрением промптов и избежать вредоносных сайтов. Но после второго или третьего предупреждения я просто кликала «да, да, да».
Более правильной настройкой было бы поручить ИИ самостоятельно проводить эти проверки и предупреждать меня только в том случае, если он столкнется с подозрительным сайтом.
Принятие решения о том, что передать на рассмотрение человеку, а где запустить собственные тесты ИИ и отметить аномалии — это целое искусство. Если предупреждение откалибровано правильно, вероятность того, что я обращу на него внимание, значительно выше.
Есть ли решения, которые ИИ-агенты просто не должны принимать?
Не каждое решение, которое может принять ИИ, обязательно должно им приниматься.
Допустим, вы настраиваете агента службы поддержки для проверки статуса заказа и оформления возврата в соответствии с политикой компании.
Если агенту поступает любой другой запрос, он должен передать его выше по инстанции или следовать соответствующему протоколу. И если кто-то попытается заставить агента нарушить политику компании, это должно быть практически исключено.
Предприятия должны быть уверены в своих системах и иметь над ними контроль. Когда системы работают иначе — это серьезная проблема.
Может ли надзор со стороны человека создать ложное чувство безопасности? Кто должен нести ответственность за решения ИИ?
Я считаю, что необходима новая модель ответственности.
Вместо того чтобы просто говорить: «Вот вам ИИ, пользуйтесь», организации должны задаться вопросом, кто отвечает за этот инструмент.
Я наблюдаю формирование того, что я назвала бы матричной ответственностью.
Раньше за все инструменты на предприятии отвечал ИТ-отдел. Но если вы используете ИИ-агентов практически в каждой сфере деятельности, часть ответственности должна быть перенесена ближе к тому месту, где эта работа выполняется.
ИТ-отдел по-прежнему может отвечать за управление и стратегию. Но если вы используете маркетингового агента, команда маркетологов должна определить голос бренда, установить параметры и определить, как проводятся кампании.
На индивидуальном уровне вы по-прежнему несете ответственность за свою работу, независимо от того, используете вы ИИ или нет.
И да, простое наличие человека в контуре может создать ложную уверенность. Если ответственность означает проверку каждой отдельной точки данных, вы можете сосредоточиться не на том.
Вам следует обратить внимание на то, как идут тесты, соответствует ли система стандартам качества и есть ли отклонения или аномалии.
Вам нужен наделенный полномочиями человек, который может задавать параметры и настраивать систему на основе результатов. Это сильно отличается от одобрения одной точки данных за другой.
Что определяет, укрепляет ли ИИ суждения человека или подрывает их?
Очень многое зависит от того, насколько осознанно он внедряется.
Мы видели, как ИИ в сфере найма может усиливать исторические предвзятости и исключать квалифицированных людей. Но при продуманном использовании ИИ может сделать противоположное.
Наш генеральный директор Марк Бениофф использует ИИ на совещаниях с руководителями отделов продаж. После того как руководители обсуждают свои регионы, они спрашивают ИИ, какие вопросы не были затронуты или какие точки зрения не были представлены. Они используют его, чтобы бросить вызов собственному мышлению.
Один венчурный капиталист рассказал мне об использовании ИИ при принятии решений инвестиционным комитетом. Они заранее устанавливают критерии, и ИИ может указывать на потенциальные несоответствия или предвзятости во время обсуждений.
Иногда людям бывает трудно поднять эти вопросы в моменте. ИИ может вынести их на поверхность, чтобы команда могла провести совсем другое обсуждение.
Вместо того чтобы относиться к ИИ как к панацее, организации должны задать себе вопрос о том, как они хотят принимать решения, в чем ИИ силен и каковы его недостатки.
Это звучит как здравый смысл, потому что так оно и есть. Но люди пока не обязательно смотрят на ИИ именно так.
По мере того как ИИ становится все более способным, изменилось ли ваше представление о том, какие человеческие качества незаменимы?
Мое смирение в этом вопросе со временем только росло.
Поскольку ИИ моделируется на основе человеческих знаний и поведения, трудно провести четкую границу между тем, что является человеческим, и тем, что принадлежит ИИ.
Даже суждение выглядит несколько размытым. Когда вы поручаете задачу агенту, он принимает промежуточные решения, например, какие файлы извлечь или какие веб-сайты исследовать. Он проявляет нечто вроде здравого смысла.
Тем не менее, по мере того как мы перекладываем на ИИ все более сложные задачи, человеческая ответственность, мудрость и рассудительность приобретают еще большую важность, поскольку возрастает цена выполняемой работы.
Я по-прежнему считаю, что человеческое суждение, креативность, эмпатия и взаимоотношения становятся только важнее. Я просто научился избегать жестких разграничений между тем, что является исключительно человеческим, и тем, что создано исключительно ИИ.
Где вы видели, чтобы ИИ делал работу более приносящей удовлетворение, а не просто более продуктивной?
Один пример, который меня поразил, я увидел во время визита в Департамент автотранспорта Калифорнии (DMV).
Я пришел туда, чтобы получить REAL ID. Сотрудники узнали, что я работаю в Salesforce, и начали рассказывать о том, как они используют ИИ и автоматизацию для модернизации услуг.
Я ожидал провести там несколько часов в окружении недовольных людей. Но вместо этого все работало как часы. Я зашел и вышел всего за несколько минут.
Но больше всего меня поразило то, что все были счастливы. Сотрудники были готовы расплакаться от радости.
Это заставило меня задуматься о том, какой позитивный цикл можно создать с помощью технологий. Когда клиенты не получают ответов, они начинают раздражаться и срывать злость на сотрудниках. Сотрудники испытывают стресс и с меньшей вероятностью будут выкладываться по полной.
Но когда у клиентов остаются хорошие впечатления, они лучше относятся к сотрудникам, которые, в свою очередь, обеспечивают более качественный сервис.
Другой пример — моя команда в Salesforce, которая отвечает за доступность продуктов.
У команд по обеспечению доступности могут накапливаться большие списки нерешенных багов. ИИ позволяет выявлять и автоматически устранять некоторые проблемы еще до выпуска продуктов.
Это позволяет нам сосредоточиться на более сложных задачах. Вместо того чтобы концентрироваться на соблюдении нормативов, мы можем подумать о том, как сделать взаимодействие с продуктом по-настоящему удобным для людей с ограниченными возможностями.
Вы поднимаете эту роль на новый уровень.
Такие результаты не появляются сами по себе. Вместо того чтобы просто спрашивать, на что способен ИИ, мы должны спросить, как он помогает нам делать то, о чем мы раньше даже не мечтали.
Мы должны задать этот вопрос нашим командам, потому что именно так ИИ воспринимается ими не как нечто, что с ними происходит извне, а как то, частью чего они являются.
Последние тенденции в сфере ИИ от экспертов
Получайте отборную аналитику о самых важных и интересных новостях об ИИ. Подпишитесь на нашу еженедельную рассылку Think. Ознакомьтесь с Заявлением о конфиденциальности IBM.
