Salesforce AI Research удвоила производительность памяти Agentforce, создав фреймворк, который отслеживает, что именно помнит ИИ-агент.
Представьте себе следующий сценарий: в марте клиент сообщает агенту, что их офис находится в Бангалоре. В июне они упоминают, что офис переехал в Пуну. В июле они задают вопрос, зависящий от их местоположения, но агент отвечает так, будто офис по-прежнему в Бангалоре. Виной всему — память агента.
Поддержание актуальности данных, когда клиент обновляет их спустя месяцы, — одна из самых сложных проблем в памяти ИИ-агентов. Даже самые продвинутые агенты сегодня могут упускать их из виду, потому что ответ, построенный на основе старого факта, выглядит точно так же, как ответ на основе актуального. В лучшем случае это означает, что клиенту приходится вводить информацию дважды. В худшем — сотрудник просит агента организовать кейтеринг для завтрашней встречи, и доставка заказывается в старый офис. В любом случае «забывчивость» агента приводит к неудобствам и чревата реальными бизнес-последствиями.
Salesforce AI Research создала оценочный фреймворк, который отвечает на вопрос, на который трудно ответить каким-либо другим способом: сколько на самом деле помнит агент? Наш фреймворк генерирует длинные многосессионные диалоги с внедренными по ходу дела конкретными фактами, пропускает их через работающую систему Agentforce, а затем задает агенту вопросы, зависящие от этих фактов. Тестирование всего пути — от момента, когда клиент что-то упоминает, до момента, когда агент предпринимает действия на основе этого, — делает результат заслуживающим доверия. Диалоги поступают из ConvoMem, публичного бенчмарка, который мы выпустили в 2025 году.
Этот фреймворк использовался для улучшения Agentforce Memory — функции, которая держит агентов в курсе того, что сообщают клиенты, и которая стала общедоступной в сентябре.
Улучшение было достигнуто за счет нашей обновленной политики памяти — правил, которые определяют, что агент сохраняет о клиенте и что он делает при изменении этой информации. Обновленная политика сохраняет больше того, что говорит клиент, и рассматривает обновление как исправление того, что агент уже знает, а не как дополнительный факт, записанный рядом с первым. Что важно в этой методологии, так это то, что под самой политикой ничего не изменилось. Agentforce Memory по-прежнему работает на той архитектуре, с которой она была запущена.
В ходе этой оценки, проведенной в работающей системе Agentforce, обновленная политика вспоминает в 1,8 раза больше фактов, которые клиенты заявляют напрямую, по сравнению с замененной политикой, и в 2,2 раза больше фактов, которые меняются с течением времени. Качество памяти сквозного диалога фактически удваивается.
«Ответ агента не может подсказать вам, не удалось ли ему что-то сохранить или он не смог использовать то, что сохранил, — сказал Эрик Найкамп (Erik Nijkamp), директор по исследованиям в Salesforce AI Research. — Тестирование всего пути позволяет разделить эти проблемы, а когда вы видите, что именно дает сбой, вы можете улучшить это, изменив политику, а не перестраивая всю систему».
Проведение такой оценки в рабочей среде имеет решающее значение, потому что память ведет себя как память только в реальных условиях: месяцы общения, живые данные и человек, ждущий ответа.
Сильвио Саваресе (Silvio Savarese), исполнительный вице-президент и главный научный сотрудник Salesforce, отметил: «В исследовательской лаборатории вы выбираете проблему, а затем ищете для нее данные. В продуктовой организации проблема уже работает, с реальными клиентами, и дисциплина заключается в том, чтобы честно измерить ее, прежде чем что-либо менять. Именно это дает нам данная работа для функции, на которую наши клиенты полагаются каждый день».
Один из клиентов Salesforce, туристическая платформа, недавно использовал Agentforce для создания ориентированного на сотрудников агента, который отвечает на вопросы команды, суммирует кейсы, составляет черновики писем и обновляет записи в CRM. Благодаря улучшенной памяти Agentforce Memory агент переносит важный контекст в каждый разговор, поэтому специалисты по продажам и обслуживанию получают персонализированные, релевантные ответы, не начиная каждый раз с нуля.
Память агентов становится тем стандартом, которого будут придерживаться корпоративные предприятия, как и любой другой части своих систем. Тестирование того, что агент помнит на протяжении всего разговора — это способ установить такой стандарт.
