Предоставление ссылок на источники, объяснений и прозрачности может помочь укрепить доверие пользователей к приложениям на базе ИИ.
Функция на базе ИИ может выдавать полезный ответ и при этом оставлять у пользователя сомнения в том, стоит ли ей доверять.
Ассистент поддержки может порекомендовать возврат средств, не показывая политику, лежащую в основе этой рекомендации, в то время как ассистент по проектам может составить сводку статуса, не уточняя, на какие именно записи он опирался. В обоих случаях результат может быть верным, но у пользователя мало оснований для его оценки.
Интерфейсы ИИ, вызывающие доверие, предоставляют пользователям достаточно информации для оценки результата, прежде чем полагаться на него. Они показывают, откуда взялась важная информация, объясняют важные рекомендации понятным языком и помогают сделать неопределенность видимой, когда она влияет на следующее решение. Они также дают пользователям возможность проверять, корректировать или останавливать систему, если что-то выглядит неправильно.
В этой статье мы рассмотрим, как прозрачность, указание источников, объяснения и сигналы уверенности могут помочь пользователям сформировать адекватный уровень доверия к приложению на базе ИИ.
Доверие проистекает из того, что показывает приложение
Мы не должны рассматривать доверие как сообщение, которое мы добавляем рядом с функцией ИИ. Метка «Сгенерировано ИИ» сообщает пользователям, что создало результат, но она не говорит им, основан ли результат на правильной информации или было ли действие уже выполнено.
Доверие проистекает из поведения, которое пользователи могут проверить. Это означает предоставление пользователям информации, необходимой для понимания того, откуда взялся результат, почему он появился и что система с ним сделала.
Различные шаблоны пользовательского интерфейса отвечают на разные вопросы:
Эти шаблоны приобретают все большее значение по мере того, как функция ИИ получает больше полномочий. Сгенерированной сводке могут потребоваться только ссылки на источники и элемент управления редактированием, в то время как агенту, предлагающему возврат средств, нужны более веские доказательства, поскольку результат может привести к реальным изменениям в учетной записи клиента.
Покажите, откуда взялась информация
Указание источников — один из самых понятных способов сделать ответ ИИ проверяемым. Когда приложение отвечает на основе документации, политик или бизнес-данных, интерфейс может отображать источники, использованные для подтверждения ответа.
Это особенно полезно в приложениях с дополненной генерацией (RAG). Шаг поиска уже определяет отрывки, предоставленные модели, поэтому ответ может сохранять ссылки на эти документы и отображать их в пользовательском интерфейсе.
Предположим, внутренний ассистент поддержки отвечает:
Корпоративные клиенты могут запросить возврат средств в течение 30 дней при подтверждении двойного списания.
Корпоративные клиенты могут запросить возврат средств в течение 30 дней при подтверждении двойного списания.
Ссылка на актуальную политику возврата позволяет инженеру поддержки проверить это утверждение без необходимости отдельно искать его в базе знаний. Если политика недавно изменилась, источник также дает инженеру возможность проверить, отражает ли ответ последнюю версию.
Цитата все равно не доказывает, что модель правильно интерпретировала источник. Оценка и мониторинг работы в продакшене по-прежнему отвечают за измерение качества ответов. Указание источников дает пользователю нечто иное: прямой путь для проверки ответа тогда, когда проверка имеет значение.
Объясните результат в момент принятия решения
Далеко не каждый результат работы ИИ требует подробного объяснения. Сгенерированную тему письма или отформатированный абзац легко проверить напрямую. Объяснения важнее, когда результат вызывает удивление, труден для проверки или может повлиять на важное решение. Объяснение должно быть сосредоточено на информации, которая помогает принять это решение.
Если агент предлагает возврат средств (например), нам не нужно демонстрировать каждый внутренний шаг, который привел к этому предложению. Мы можем показать важные доказательства:
- Обнаружены два списания с одинаковой суммой и за тот же расчетный период.
- В учетной записи нет второй совпадающей покупки.
- Текущая политика возврата разрешает возвращать средства за двойные списания.
- Предлагаемая сумма возврата составляет $129.
Это дает проверяющему полезное объяснение, не превращая интерфейс в расшифровку внутренних рассуждений модели.
Осторожно обращайтесь с оценками уверенности
Оценка уверенности звучит как прямой способ сообщить о неопределенности. Если система уверена на 92%, мы можем показать 92% рядом с результатом и позволить пользователю решить, насколько ей доверять. При этом оценка уверенности полезна только тогда, когда мы понимаем, что она собой представляет.
Некоторые прогностические модели выдают вероятности, которые команды могут оценивать и калибровать по реальным результатам. В таких случаях значение уверенности может быть полезным. Однако модель, просто заявляющая, что она «уверена на 95%», не делает это число откалиброванной вероятностью. Точный процент может сделать ответ более уверенным, не предоставляя пользователю полезных доказательств.
Для многих функций генеративного ИИ проще опираться на конкретные сигналы:
- Нашел ли поиск авторитетный источник?
- Доступны ли требуемые данные учетной записи?
- Прошла ли структурированная проверка?
- Соответствует ли предлагаемое действие политике приложения?
Мы можем представить эти сигналы в состоянии приложения:
Интерфейсу не обязательно напрямую выставлять подобный объект наружу. Если необходимые данные отсутствуют, приложение может сообщить, что именно оно не смогло проверить. Если текущая политика была получена и проверка прошла успешно, оно может показать это подтверждающее доказательство рядом с результатом.
Подводя итог, можно сказать, что когда оценка уверенности помогает пользователю принять решение, мы можем показать ее и объяснить, что означает это значение. Когда это не так, доказательства и четкая неопределенность обычно полезнее, чем процент.
Сделайте ограничения и действия видимыми
Интерфейс ИИ также повышает доверие, четко показывая, когда он не может надежно выполнить задачу. Предположим, у ассистента поддержки спрашивают, имеет ли клиент право на возврат средств, но платежный сервис недоступен. Приложение не должно заполнять этот пробел правдоподобным ответом. Оно может объяснить, что нашло соответствующую политику, но не смогло проверить историю платежей:
Я нашел политику возврата, но не смог проверить историю платежей для этой учетной записи. Возврат средств не производился.
Я нашел политику возврата, но не смог проверить историю платежей для этой учетной записи. Возврат средств не производился.
Последнее предложение является ключевым. Когда система ИИ может совершать действия, пользователям необходимо знать, подготовила ли она лишь рекомендацию или уже что-то изменила.
Тот же принцип применим к агентам, работающим в несколько этапов. Интерфейс может показывать, когда агент работает, ждет одобрения, завершил работу или остановлен из-за отсутствия необходимой информации. По возможности интерфейс также должен предлагать дальнейшие действия, такие как повторный поиск, предоставление недостающей информации или эскалация задачи.
Четкие ограничения помогают пользователям понять, где можно полагаться на систему, а где по-прежнему требуется участие человека.
Единый интерфейс, вызывающий доверие, от начала и до конца
Клиент пишет, что с него дважды списали плату за подписку Pro, и просит вернуть деньги. Надежный рабочий процесс может выглядеть следующим образом:
- Бекэнд извлекает текущую политику двойных списаний и сохраняет ссылку на ее источник.
- Агент проверяет историю платежей клиента и находит два совпадающих списания.
- В пользовательском интерфейсе отображается предлагаемый возврат средств на сумму 129 долларов, соответствующие платежные записи и подтверждающая это политика.
- Поскольку сумма требует утверждения, приложение четко дает понять, что возврат средств еще не был произведен.
- Инженер службы поддержки изучает доказательства и одобряет предложение.
- Бэкенд повторно проверяет запрос, выполняет возврат средств и записывает результат.
- Интерфейс обновляет информацию по делу, показывая, что возврат средств завершен.
На каждом этапе инженер службы поддержки может видеть, какую информацию использовало приложение, к какому выводу пришел агент и в каком состоянии находится рабочий процесс.
В этом заключается главная идея нашей темы: доверие не создается одной лишь справкой или меткой уверенности. Оно создается поддержанием видимой, проверяемой цепочки от доказательств к рекомендации и к действию.
Если историю платежей не удается загрузить, рабочий процесс останавливается перед тем, как предложить возврат. Если соответствующие источники противоречат друг другу, приложение может выявить это противоречие и эскалировать проблему, а не скрывать неопределенность за оценкой уверенности.
Итоги
Создание заслуживающего доверия пользовательского опыта при работе с ИИ не означает убеждение пользователей в том, что система всегда права. Это означает предоставление им достаточной информации для понимания того, когда на систему можно полагаться, а когда результат следует изучить более внимательно.
Атрибуция источников облегчает проверку сгенерированных ответов. Объяснения связывают рекомендации с соответствующими доказательствами для текущей задачи.
Сигналы уверенности могут передавать неопределенность, если они имеют четкое значение, хотя недостающие данные, результаты проверки и проверки политик часто предоставляют более полезные сигналы в генеративных приложениях.
Те же принципы применяются, когда система ИИ способна действовать. Пользователи должны видеть, что делает агент, является ли действие еще только предлагаемым или уже завершенным, и где требуется одобрение человека.
Поскольку ИИ берет на себя все большую роль в наших приложениях, доверие становится частью интерфейса и окружающей его архитектуры приложения. Мы заслуживаем его, делая поведение проверяемым, ограничения — видимыми, а важные действия — понятными.
Дополнительную информацию о создании приложений и агентов на базе ИИ с помощью Progress можно найти в следующих ресурсах:
- Платформа наблюдаемости Progress Agent Engineering
- Решение Progress Agentic RAG
