Модели принятия решений сейчас на пике популярности. В середине сентября компания TypeSafe AI вышла из тени с моделью, созданной для выбора из набора вариантов. Месяц спустя OpenAI открыла общий доступ к своему API решений, а несколько других AI-компаний выпустили собственные модели принятия решений.
Salesforce использует модели принятия решений уже много лет, включая HyperClassifier, который маршрутизирует запросы внутри Agentforce, отправляя каждый запрос в ту часть агента, которая предназначена для его обработки. Например, когда клиент спрашивает службу поддержки: «Где моя посылка?», эта модель маршрутизации направляет сообщение в ту часть агента, которая занимается отгрузкой и доставкой. Другие части обрабатывают часто задаваемые вопросы, текущие промо-акции и эскалации. Модели принятия решений помогают агентам быстро определять правильный следующий шаг — будь то выбор подходящего рабочего процесса, принятие решения «да/нет» или назначение оценки, — не полагаясь на более крупную и дорогостоящую AI-модель для каждой задачи.
В этом месяце мы представляем следующую версию нашей модели HyperClassifier — Koa Decisions. Опираясь на проверенные возможности HyperClassifier, Koa Decisions существенно расширяет сферы и способы применения моделей принятия решений в экосистеме Salesforce. В результате получается более универсальная модель, которая обеспечивает быстрое и эффективное принятие решений для более широкого спектра рабочих процессов и приложений.
Koa Decisions считывает запрос и список определенных вами категорий, а затем принимает решение за один шаг, за миллисекунды. Наша команда по науке о данных создала ее, применив новые методы обучения к открытой модели Google Gemma. Помимо прочих улучшений, в ней добавлена мультимодальная поддержка изображений и аудио.
Мы планируем распространить ее далеко за рамки маршрутизации: на потоки (flows), Apex и шаблоны промптов для разработчиков на платформе Salesforce, а также предоставить API для разработчиков. Koa Decisions пополняет семейство моделей Salesforce Koa, в которое также входит отдельная модель рассуждений, созданная совместно с NVIDIA.
Почему модели принятия решений важны для корпоративных агентов
Большая языковая модель (LLM) генерирует текст, но значительная часть работы агента сводится к простому выбору: например, какому отделу направить запрос или какую статью базы знаний показать. Именно это и делает модель принятия решений: она возвращает выбор, например один вариант из списка, ответ «да» или «нет» либо оценку.
Допустим, клиент вводит в чате компании фразу: «Я не могу войти в свою учетную запись». Куда должен отправиться этот запрос: в технический отдел, бухгалтерию или отдел продаж? Универсальная LLM может интерпретировать запрос, но она не создана специально для принятия таких быстрых и точечных решений, а на обработку вопроса у нее может уйти больше секунды.
Модель принятия решений, напротив, создана именно для этой задачи. Получив тот же запрос и варианты, она за миллисекунды определяет «учетные записи», выдавая четкий ответ и показатель уверенности без избыточных затрат ресурсов более крупной универсальной модели.
Такой ответ часто представляет собой один токен — базовую единицу текста, обрабатываемую AI-моделью, размером примерно с слово. LLM пишет свой ответ по одному токену за раз, причем каждый новый токен основывается на предыдущих. Модель принятия решений считывает весь запрос целиком и выдает ответ за один шаг. На создание короткого ответа требуется меньше вычислений, и другое программное обеспечение может среагировать на него немедленно.
Когда мы измерили показатели маршрутизации запросов в Agentforce, оказалось, что нашей модели принятия решений требуется около 26 миллисекунд по сравнению с примерно 1,4 секунды у универсальной LLM. Подробнее о том, как работает Koa Decisions, читайте в исследовательской работе нашей команды.
Убедитесь сами
Вы можете протестировать модель принятия решений, даже если не являетесь клиентом Salesforce. Зарегистрируйте бесплатную учетную запись Trailhead и запустите демоверсию Koa Decisions.
- Нажмите «Маршрутизировать запрос в поддержку» (Route a support request) и щелкните серую стрелку. Модель направит запрос по умолчанию в инженерный отдел, бухгалтерию или отдел продаж и отобразит показатель уверенности для каждого варианта.
- В разделе «Варианты» (Choices) добавьте четвертый вариант, например «Возвраты» (Returns). Здесь можно проявить фантазию и добавить забавные или личные варианты, такие как «Здравоохранение» или даже «Детский сад». Чтобы зафиксировать изменения, кликните обратно в поле ввода (Input).
- В поле ввода измените запрос на тот, который соответствует добавленному вами варианту, например: «Мне нужно отправить обратно заказ, который пришел вчера», и снова нажмите серую стрелку. Посмотрите, какой вариант модель выберет на этот раз.
- Вставьте аналогичный письменный запрос и список вариантов в чат-ассистент на базе LLM. Сравните длину и формат его ответа с ответом модели принятия решений.
На шаге 3 модель выбрала возвраты сразу после того, как вы их добавили, без какого-либо дообучения. Программное обеспечение классифицирует запросы на протяжении десятилетий, но раньше для этого требовалась кастомная прогностическая модель машинного обучения. Команды определяли результат, собирали и размечали данные, обучали модель, проверяли ее точность и повторяли все сначала. Для многих корпоративных клиентов путь от идеи до продакшена занимал месяцы. Модель принятия решений берет за основу языковую модель, которая на огромных массивах текста уже научилась понимать, как связаны фразы «отправить заказ обратно» и «возвраты». Команда может добавить категорию и зачастую дойти до продакшена за считанные часы.
Эффективность, заложенная в Salesforce
Koa Decisions создана для оперативного принятия решений, которые поддерживают непрерывность работы в Salesforce, оставляя LLM задачи по написанию текста и рассуждениям. Клиенты получают более эффективный процесс без необходимости вручную выбирать модель для конкретной задачи.
Например, когда сделка по продаже начинает срываться, модель принятия решений может пометить риск и выбрать, какому отделу следует вмешаться, а LLM — обобщить произошедшие изменения. К тому моменту, как кто-либо откроет карточку, нужная команда уже будет все знать.
Чтобы узнать, как Koa Decisions вписывается в повседневные бизнес-процессы — от записи в Sales Cloud до оповещения в Slack, — посмотрите это демовидео.
Цены и варианты поставки могут быть изменены. Доступность зависит от региона и регулируется клиентскими соглашениями. Клиенты должны принимать решения о покупке на основе продуктов и услуг, доступных в настоящее время.
Дарвиш Шадраван (Darvish Shadravan), старший директор по управлению продуктами
Дарвиш Шадраван — старший директор по управлению продуктами в Salesforce. Он руководит продуктовым направлением команды по науке о данных, включая их работу над семейством моделей Koa. Помощь клиентам в достижении успешных бизнес-результатов с помощью машинного обучения и прогнозной аналитики была его главным фокусом в Salesforce задолго до того, как генеративный искусственный интеллект получил массовое распространение. До прихода в Salesforce он работал в Microsoft.
