Современные ИИ-агенты — это мощные инструменты для компаний, стремящихся наладить более тесный контакт со своими клиентами. Они могут вести диалоги, рассуждать над многоэтапными задачами, самостоятельно действовать в различных системах и многое другое. Однако большие языковые модели (LLM) по своей природе вероятностны и эффективны только при наличии правильного контекста, данных и инструкций. В противном случае они могут выдавать неверные ответы и даже совершать ошибочные действия.
Вместо того чтобы заставлять бизнес выбирать между ИИ-агентами и устаревшим, чисто детерминированным подходом, который обеспечивает безопасность за счет соблюдения строгих правил, но предлагает ограниченный набор возможностей, Salesforce объединяет оба варианта.
«Agentforce разделяет «мозг» агента на два уровня», — говорит Кэти Бакстер, главный архитектор Salesforce по этике ИИ.
Первый уровень — это вероятностная модель, которая отвечает за язык и логические рассуждения. Она предсказывает наиболее вероятный ответ на вопрос. Любые важные решения затем проходят через второй уровень. Он включает в себя заранее заданную детерминированную бизнес-логику, рабочие процессы и права доступа, поэтому каждое действие или ответ подчиняются установленным в компании политикам, процедурам или эскалации на человека. В то же время журнал аудита фиксирует каждое действие для последующей проверки.
Этот двойной подход дает предприятиям надежную основу для внедрения агентов с большей степенью доверия и подотчетности.
Мы встретились с Бакстер, чтобы подробнее обсудить, как объединить сильные стороны этих двух подходов, как человеку оставаться главным и почему тестирование перед запуском — это только начало.
Посмотрите видео здесь или прочитайте расшифровку ниже.
Бакстер: Agentforce разделяет «мозг» агента на два уровня. Первый — это генеративный уровень, LLM, который берет на себя всю работу с языком и рассуждениями. Второй — детерминированный уровень. Это реализовано через Agent Fabric, Flow, и Apex. Все важные решения направляются через этот детерминированный уровень, а не принимаются агентом самостоятельно относительно того, какой ответ или решение являются лучшими. Эти решения следуют любым политикам рабочих процессов, процедурам или эскалации на человека, которые вы установите.
Бакстер: Когда агент «галлюцинирует», он не просто дает неверный ответ; он может совершить ошибочное действие. Со временем такие ошибки могут накапливаться. Вам действительно нужно убедиться, что агенты опираются на конкретные данные вашей организации. Кроме того, у нас есть механизм рассуждений Atlas Reasoning Engine, который заставляет агента объяснять каждое свое действие. Вы можете зайти и проверить это. И вы можете обеспечить такой уровень подотчетности.
Бакстер: Поскольку важные решения проходят через детерминированный уровень, у вас есть проверяемая логика, такая как Salesforce Code, Apex и Agent Fabric, которая позволяет увидеть, почему агент делает то, что делает. Вы не просто просите агента объяснить себя; вы можете зайти и проверить всё самостоятельно. Более того, у нас есть журнал аудита, который записывает всё, что делает агент, а также действия людей. Это обеспечивает прослеживаемый и объяснимый путь того, что произошло.
Бакстер: Философия Salesforce «человек у руля» — это подход, который мы используем, чтобы гарантировать, что люди всегда остаются под контролем. Это не просто «человек в контуре», а по-настоящему «человек на водительском кресле». Что предоставил ИИ? Что затем сделал агент? Что сделал человек? Отредактировал ли агент контент? Отправил ли он его, а также собрал ли отзывы пользователей об этом контенте, которые администратор Salesforce может позже просмотреть? Автономия предоставляется постепенно и на основе политик, поэтому вы действительно можете быть уверены, что агент действует так, как вы хотите и ожидаете.
Бакстер: В рамках руководящих принципов Salesforce по ответственному использованию агентного ИИ у нас есть требование (которое мы встраиваем по умолчанию), чтобы агенты идентифицировали себя как ИИ-агенты и не притворялись людьми. Кроме того, у нас есть Trust Layer, который способен обнаруживать токсичность и попытки инъекции промптов, чтобы обеспечить безопасность всех входных и выходных данных этих агентов.
Бакстер: Наш Центр тестирования позволяет клиентам оценивать и изучать свои собственные данные, видеть, какие ответы они получают от своих агентов, и тестировать этих агентов, чтобы убедиться, что они действуют последовательно и справедливо. У нас также есть настраиваемые элементы управления, которые позволяют клиентам устанавливать свои собственные политики, чтобы решать, какие данные агент может использовать при принятии решения, а какие нет, чтобы они не использовали данные, которые могут привести к предвзятости.
Бакстер: Я думаю, один из самых больших пробелов возникает, когда клиенты проводят тестирование перед запуском, но затем не продолжают мониторинг или не продолжают проводить тестирование. Как мы все знаем, в вероятностных системах ответ, который вы получаете сегодня, может отличаться от того, что вы получите завтра. Постоянный мониторинг производительности вашего агента имеет решающее значение для обеспечения его безопасности и предоставления вашим клиентам наилучшего опыта.
Узнайте больше:
- Почему Salesforce дообучила свою собственную модель рассуждений
- Многопользовательский ИИ: переход от более умных индивидов к более умной компании
- Пять главных выводов с Dreamforce 2026
