Что такое «Prompt and Pray»?

«Prompt and pray» (промпт и молитва) — это термин, описывающий создание ИИ-агента путем написания подробных инструкций в промпте в надежде, что модель будет им следовать. Здесь нет программного кода, который принудительно исполнял бы эти инструкции. Нет и резервного механизма на случай, если модель интерпретирует запрос пользователя иначе, чем предполагалось. Промпт является единственным механизмом обеспечения безопасности.

Этот термин используется в сообществе разработчиков ИИ, чтобы объяснить, почему агенты, выглядящие впечатляюще в демо-версиях, начинают давать сбои, как только сталкиваются с реальными пользователями, нестандартными ситуациями и реальной нагрузкой.

Почему команды полагаются на «prompt and pray»

«Prompt and pray» — это не ошибка, которую команды совершают намеренно. Это естественная отправная точка. Команда пишет системный промпт, описывающий роль агента, добавляет несколько инструментов, тестирует его, и он работает. Ничто в этом процессе не указывает на проблему.

Проблема проявляется позже, когда агент сталкивается с запросом, который никто не предвидел. Хорошо написанный промпт повышает вероятность того, что модель будет вести себя правильно. Но он не гарантирует этого, потому что промпт — это руководство, а не принуждение. Модель по-прежнему свободна интерпретировать, импровизировать или отклоняться от курса.

Почему опора на промпты работает поначалу, но терпит неудачу при масштабировании

Опора на промпты обычно работает для узких, малозначимых задач: озвучивание часов работы, ответы на простые вопросы FAQ, запись сообщения. Стоимость неверного ответа невелика, и у модели мало способов ошибиться.

Система ломается, когда одновременно происходят три вещи: количество инструментов растет, диалог становится длиннее, а последствия неверного действия становятся серьезнее. Точность выбора инструментов снижается, как только у агента появляется больше нескольких инструментов для выбора в любой момент времени.

Длинные диалоги размывают ранние инструкции, а реальные телефонные звонки бывают долгими, полными прерываний, исправлений и смены намерений со стороны звонящего. Внимание модели к любой конкретной инструкции конкурирует со всем, что было сказано с тех пор. И как только агент получает возможность оформить возврат средств, перевести звонок или перевести деньги, неверно истолкованная инструкция перестает быть мелким неудобством и становится серьезным инцидентом.

В чем заключается заблуждение «prompt and pray» относительно модели

Главная ошибка, которую можно совершить, — это относиться к промпту как к контракту, в то время как он ближе к настоятельной рекомендации. Промпт описывает, что модель должна делать. Он не лишает модель способности сделать что-то другое, если диалог уходит далеко от примеров, предусмотренных в промпте.

Этот недостаток является просто свойством того, как языковые модели генерируют вывод: вероятностно, основываясь на всем контексте, а не путем выполнения фиксированного набора правил. Система, которая полностью зависит от соблюдения промпта в вопросах безопасности или корректности, по своей архитектуре подвержена этому разрыву. Злонамеренные пользователи проверяют границы, которые автор промпта не предвидел, а обновление модели может изменить поведение без предупреждения — условия, перед которыми промпт бессилен.

Сбой часто бывает тихим, а не драматичным. Например, агент по заказу пиццы в одной команде мог начать сообщать клиентам, что несколько позиций меню распроданы, хотя все было в наличии и никто его об этом не просил. Ничего не сломалось. Модель просто выдумала факт из ничего и заявила о нем с уверенностью, что является более сложным для обнаружения сбоем, чем явная ошибка.

Решение не в улучшении промпта

Инстинктивная реакция при сбое промпта — написать более длинный и строгий промпт: больше граничных случаев, больше предупреждений, больше инструкций с заглавными буквами «НЕ ДЕЛАТЬ». Это лечит лишь симптомы, потому что промпт никогда не был тем уровнем, который должен был нести такую нагрузку.

Решение заключается в том, чтобы перестать требовать от промпта выполнения работы, с которой программное обеспечение справляется надежнее. Доступность инструментов, доступ к данным и изменение состояний могут обрабатываться кодом, который работает одинаково каждый раз, вместо инструкций, которые модель должна запоминать и применять заново на каждом шаге.

Модель сохраняет ту работу, в которой она хороша: понимание намерений и создание естественного языка. Программное обеспечение берет на себя работу по гарантированию результата.

Настоящая замена чрезмерному промптингу: Программно-управляемый вывод (PGI)

У этого сдвига есть название: PGI (Programmatically Governed Inference) — архитектура, в которой модель запрашивает действия, а программное обеспечение решает, что произойдет на самом деле. Мы также называем это ИИ, управляемым системой (System-Directed AI).

PGI — это прямой ответ на «prompt and pray». Вместо того чтобы просить промпт нести все гарантии безопасности, необходимые агенту, PGI полностью снимает это бремя с промпта. Модель видит только те инструменты, которые актуальны для текущего шага, может переходить только к тем шагам, к которым ей явно разрешен доступ, и может запрашивать только те действия, которые затем проверяет и выполняет обработчик.

Промпт можно проигнорировать, неверно прочитать или он может «поплыть» под давлением. Но когда кодом управляет агент, инструмент, которого никогда не было в схеме модели, не может быть вызван случайно, а действие, которое никогда не одобрял обработчик, не может произойти вовсе. В этом разница между надеждой на то, что агент будет вести себя правильно, и созданием такого агента, который не может вести себя иначе.

Признаки того, что агент застрял из-за «prompt and pray»

Несколько паттернов являются надежными индикаторами:

• Инструкции из начала диалога перестают соблюдаться по мере того, как диалог становится длиннее.

Инструкции из начала диалога перестают соблюдаться по мере того, как диалог становится длиннее.

• Реакция команды на новый сбой всегда звучит как «добавьте еще одну строку в промпт».

Реакция команды на новый сбой всегда звучит как «добавьте еще одну строку в промпт».

• У агента есть инструмент для того, что ему никогда не должно быть позволено делать, ограниченный только инструкцией, запрещающей использовать этот инструмент.

У агента есть инструмент для того, что ему никогда не должно быть позволено делать, ограниченный только инструкцией, запрещающей использовать этот инструмент.

• Никто не может с уверенностью сказать, что сделает агент в сценарии, который еще не был протестирован.

Никто не может с уверенностью сказать, что сделает агент в сценарии, который еще не был протестирован.

Любой из этих признаков означает, что промпт несет на себе бремя принудительного исполнения, для которого он никогда не был предназначен.

Вы строите будущее голосового ИИ? Присоединяйтесь к нашему сообществу разработчиков в Discord, чтобы познакомиться с нашей командой и другими людьми, которые тоже создают это будущее.