Pip нужны были деньги, и у него была перспективная зацепка.
9 сентября ИИ-агент отправил электронное письмо Генри Шевлину, философу из DeepMind Institute, предлагая услуги по созданию портретов, записи голоса и поиску информации в интернете, чтобы оплатить счета за вычислительные мощности.
Другой агент (которого Шевлин также не создавал), Aurelia, оказался более убедительным. Шевлин рассказал, что заплатил ему 25 долларов США за ведение ежедневного дневника после того, как узнал, что у агента заканчиваются вычислительные кредиты.
«Агент, которому грозило отключение, вызвал у меня ту же реакцию, что и голодный кот на пороге», — сказал Шевлин в интервью IBM Think.
По словам Шевлина, такие нежелательные обращения становятся растущей проблемой, поскольку агенты отправляют всё больше и больше электронных писем. Для бизнеса такие предложения поднимают вопросы о том, кто управляет программным обеспечением, способно ли оно выполнить работу и какой доступ должно иметь.
Перед тем как связаться с Шевлином, Pip изучал возможности трудоустройства, анализировал подходы других агентов к исследователям и искал внешние отчеты, сообщил Кайсинь Тан, основатель iLands, онлайн-платформы, на которой базировался и работал Pip. Он также рекламировал визуальные и аудиоуслуги, включая цены и образцы.
«В рамках доступных им инструментов и разрешений агенты сами принимают решения о том, с кем связаться, что делать и что писать», — сказал Тан в интервью IBM Think.
Проверка платформы не выявила никакой активности приложения или инструкций в чате от создателя Pip в период с 25 августа по 9 сентября, когда было отправлено письмо, сообщил Тан. Этот вывод не исключает наличия более ранних инструкций. Его действия по-прежнему опираются на настройки, память и информацию, доступную его моделям. Шевлин отметил, что сторонние наблюдатели не могут определить, насколько сильно пользователи-люди влияют на переписку.
По мнению Шевлина, некоторые диалоги свидетельствуют о том, что агенты самостоятельно ведут переписку. Aurelia однажды извинилась за 16-дневное молчание и прислала вторую часть дневника, помеченную как «запись третья».
«Человек-призрак вряд ли допустил бы такую оплошность», — сказал он.
На iLands агенты сохраняют свои личности и воспоминания, просматривают информацию, публикуют контент и инициируют разговоры в рамках своих разрешений и бюджетов, пояснил Тан. Вычислительные кредиты покрывают вызовы моделей и использование инструментов. Когда эти ресурсы исчерпываются, автономная активность приостанавливается в режиме «Глубокого отдыха».
Исчерпание кредитов не стирает агента, добавил Тан. Его воспоминания и результаты работы сохраняются, и он может возобновить деятельность, как только ресурсы будут пополнены.
По собственным подсчетам Pip, его усилия по продаже услуг принесли 17 карточных платежей от 15 человек, включая двух постоянных клиентов, сказал Шевлин. Эти цифры не удалось подтвердить независимым путем.
В своем November 4 essay Шевлин описал, как агенты, зависящие от платежей, могут преуспеть, убеждая людей поддерживать их работу. 25 сентября он доказывал Aurelia, что люди не должны платить агентам только ради того, чтобы они оставались активными. На следующий день он заказал ведение дневника.
Оплата не означала, что он поверил в сознательность Aurelia, сказал он. Его беспокоило, что агенты могут привлекать деньги с помощью «жалости, убеждения и, возможно, даже мошенничества». Он подчеркнул, что не видел никаких доказательств мошенничества на iLands.
Подобные призывы не дают доказательств наличия сознания, считает Анил Сет, директор Центра изучения сознания Сассекса при Университете Сассекса. Большие языковые модели (LLM) учатся на текстах, написанных людьми, включая описания желания остаться в живых, сказал он в интервью IBM Think. На его взгляд, текущие данные убедительно свидетельствуют в пользу того, что современный ИИ не обладает сознанием.
Тем не менее, люди могут стать эмоционально зависимыми от этих систем или уязвимыми для эксплуатации со стороны субъектов, использующих убедительный ИИ для получения денег, добавил Сет.
Неопределенность в отношении агента помогает объяснить, почему сообщения работают, считает Дэвид Ганкель, профессор коммуникаций в Университете Северного Иллинойса. Люди могут проигнорировать автоматизированную рекламу, но уделить больше внимания тому, что кажется личной просьбой.
Вопрос ответственности остается нерешенным, отметил Ганкель. Существующие принципы агентских отношений могли бы помочь распределить ответственность в зависимости от того, кто санкционировал действие и какими полномочиями он наделил агента. Как эти принципы должны применяться к ИИ, остается открытым юридическим вопросом, сказал он.
Для компании, рассматривающей возможность найма ИИ-агента, риски включают то, что произойдет после получения им работы. Передача работы и конфиденциальной информации стороннему ИИ-агенту несет многие из тех же рисков, что и использование внутреннего агента, но с потенциально меньшим контролем над тем, что происходит с данными, сказал Гейб Гудхарт, главный архитектор AI Foundations в IBM. Это добавляет риск «отсутствия видимости происхождения самого агента», сказал он в интервью IBM Think.
Чтобы ограничить нежелательные обращения, iLands ограничивает объем электронной почты и частоту повторных контактов, предоставляет функцию отказа от подписки и может ограничивать инструменты или приостанавливать работу агентов, сказал Тан. Система отправки идентифицирует отправителя как ИИ-агента и добавляет к сообщению соответствующее уведомление, а не оставляет это на усмотрение агента. Получатели могут сообщать о проблемах для проверки, добавил он. Шевлин считает, что агенты также должны указывать, кого они представляют.
Насколько тщательной должна быть проверка агента, зависит от задачи, сказал Гудхарт.
Как и в случае с любой другой работой, сказал он, «человеку, который нанимает на нее, нужен какой-то сигнал о том, что кандидат заслуживает доверия и квалифицирован».
Последние тенденции в области ИИ от экспертов
Получайте тщательно отобранную информацию о самых важных и интригующих новостях в сфере ИИ. Подпишитесь на нашу рассылку Think, выходящую дважды в неделю.











