Объединение вычислительных мощностей и открытого ПО AMD с инструментами оценки, наблюдаемости и управления Fiddler для корпоративных ИИ-агентов.
AMD обеспечивает работу ведущих мировых систем научных вычислений — от эксафлопсных суперкомпьютеров, способствующих совершению открытий в США и Европе, до Lux, первой системы Genesis Mission для науки на базе ИИ. Обладая передовыми процессорами (CPU, GPU, FPGA), сетевыми технологиями и открытым программным обеспечением ROCm, AMD предоставляет государствам, лабораториям и предприятиям единую открытую платформу для высокопроизводительных вычислений, ИИ для науки, суверенного ИИ, агентного ИИ и пути к квантовым вычислениям.
Предприятиям нужен ИИ, который повышает производительность и приносит надежные бизнес-результаты. Но вывод приложения в продакшн порождает вопросы, на которые успешная демонстрация ответить не может. Производственный ИИ все чаще означает агентов, которые планируют, вызывают инструменты, читают документы и действуют — зачастую сотни раз в рамках одного запроса. Обоснованы ли ответы нужной информацией? Почему агент выбрал конкретный инструмент? Растут ли расходы из-за увеличения использования или из-за неэффективности рабочего процесса?
AMD и Fiddler решают эту задачу совместно. Автономность масштабируется так же быстро, как и способность предприятия видеть и контролировать то, что делают его агенты, а для этого требуются две вещи, работающие как единое целое: открытая высокопроизводительная основа для запуска агентов и надзор, который держит их под контролем. AMD предоставляет ускоренные вычисления и открытую программную основу для запуска рабочих нагрузок ИИ. Fiddler предоставляет оценку, наблюдаемость и средства контроля политик, которые помогают командам понимать и улучшать поведение ИИ. Результатом является автономный ИИ, который предприятия могут масштабировать с большей прозрачностью, более надежным управлением и более предсказуемыми затратами, сохраняя при этом свободу выбора архитектуры.
Автономные агенты повышают ставки в вопросах надежности
Рассмотрим корпоративного помощника по знаниям, который помогает сотрудникам интерпретировать внутренние правила. Он может отвечать быстро и оставаться доступным, поэтому все метрики инфраструктуры показывают, что он исправен. Но если он дает ответ, противоречащий исходной политике, один лишь мониторинг инфраструктуры этого не заметит.
Агентные рабочие процессы добавляют сложности. Один запрос может включать извлечение документов, несколько вызовов моделей и действия в различных бизнес-системах. Когда результат оказывается неверным или дорогим, командам необходимо определить, какой именно шаг вызвал проблему. Традиционный мониторинг был разработан для моделей, которые выдают один ответ, поэтому он не может точно определить, какой именно отрезок в трассировке из тысячи привел к плохому результату.
Риски выходят за рамки качества. Состязательный промпт может вывести агента за пределы предназначенных для него границ, а агент-программист может передать учетные данные или запись клиента в размещенную модель. Это в такой же степени сбои в управлении, как и технические сбои, с последствиями для соответствия требованиям, клиентов и репутации.
AMD предоставляет вычислительную основу
Графические процессоры AMD Instinct™ поддерживают ресурсоемкие рабочие нагрузки ИИ, включая обучение, дообучение и инференс. Программное обеспечение AMD ROCm™ предоставляет инструменты, библиотеки и среды выполнения, которые разработчики используют для создания и запуска поддерживаемых рабочих нагрузок на графических процессорах AMD. Это создает открытую основу для обслуживания приложений ИИ и расширения емкости по мере роста спроса. Варианты серверов и облачных партнеров позволяют командам оценивать инфраструктуру на соответствие их требованиям к производительности и развертыванию.
Эта вычислительная основа решает задачи обеспечения ресурсов, необходимых ИИ для работы. Оценка и мониторинг приложений определяют, насколько хорошо система справляется с задачей, которая действительно важна для клиента.
Fiddler делает поведение ИИ наблюдаемым и применимым на практике
В примере с помощником по знаниям Fiddler пометил бы противоречивый ответ и показал, откуда он взялся. Fiddler помогает командам оценивать приложения перед запуском и контролировать их в продакшне. Платформа Fiddler AI Control Plane фиксирует каждый уровень агентной системы: от приложения вниз через сеанс, агента, трассировку и отдельные отрезки (спаны). Команды могут сравнивать промпты и конфигурации, отслеживать сигналы качества и исследовать изменения в поведении с течением времени. Возможности наблюдаемости связывают результаты на уровне приложений с отдельными вызовами моделей, взаимодействиями с инструментами и передачей управления между агентами. Этот контекст помогает инженерам находить сбоящие шаги, такие как извлечение данных, вернувшее не тот документ, и расставлять приоритеты при устранении неполадок.
Fiddler оценивает такие риски, как галлюцинации, вредоносный контент и утечка конфиденциальной информации. Защитные экраны Fiddler Guardrails затем обеспечивают соблюдение политик для самого запроса, проверяя промпты и ответы на предмет обхода систем защиты, инъекций промптов, токсичности, а также персональных данных (PII) или медицинских данных (PHI) до того, как что-либо дойдет до пользователя или модели.
Внешние оценки LLM оплачиваются за каждый вызов, поэтому многие команды проводят лишь выборочную трассировку и упускают редкие случаи обхода защиты и нарушения политик, которые имеют наибольшее значение. Центральные модели Fiddler (Fiddler Centor Models) работают в среде клиента без каких-либо внешних вызовов API.
Клиенты могут связать ИИ-операции с бизнес-результатами
Подход, сочетающий подходящие вычисления с непрерывной оценкой, может помочь предприятиям получить ряд практических преимуществ.
- Более надежный пользовательский опыт: мониторинг качества помогает командам выявлять проблемные ответы и оценивать, улучшают ли изменения результаты. Это может помочь сократить количество предотвратимых ошибок и уменьшить объем усилий человека, необходимых для их исправления.
- Более быстрое устранение неполадок: трассировки и диагностика помогают инженерам сузить проблему до конкретного шага, такого как извлечение данных, ответ модели или взаимодействие с инструментом. Команды могут воздействовать на причину, а не менять весь рабочий процесс целиком.
- Принятие более обоснованных финансовых решений: прозрачность использования токенов и активности агентов помогает командам выявлять дорогостоящие пути, которые приносят ограниченную ценность. Они могут оценить, улучшает ли изменение конфигурации баланс между стоимостью, качеством ответов и скоростью.
- Повышение подотчетности: возможности управления Fiddler предоставляют записи об активности ИИ и результатах соблюдения политик, которые могут поддержать внутренние проверки и требования аудита. Fiddler также обнаруживает агентов и ведет единый реестр агентов, поэтому каждый агент, модель и приложение учтены в одном месте. Эти записи помогают организациям распределять ответственность и оценивать средства контроля.
Гибкость по мере изменения требований: открытая программная платформа AMD и агностичный к моделям и облакам подход Fiddler поддерживают оценку различных вариантов инфраструктуры и приложений. Поддерживаемые компоненты и требования к развертыванию по-прежнему нуждаются в валидации для каждой архитектуры.
Надежный ИИ нуждается в непрерывном цикле обратной связи
Для корпоративных клиентов успех означает уверенность в том, что ИИ приносит желаемый результат при приемлемой стоимости и в рамках определенных операционных политик. Для этого требуется постоянное измерение, а не одноразовая проверка при запуске.
AMD предоставляет вычислительную основу для ресурсоемких рабочих нагрузок ИИ. Fiddler предоставляет понимание поведения приложений, а также инструменты для их оценки и управления. Их дополняющие друг друга роли указывают на практическую пользу для клиента: расширение использования ИИ с лучшими доказательствами качества, более четкой подотчетностью и более обоснованными операционными решениями.
Начните с приоритетного варианта использования, определите, как выглядит успешный результат, и измеряйте его на этапах разработки и производства. Эта обратная связь дает командам более надежные основания для принятия решений о том, где улучшать ИИ, а где его масштабировать.
Чтобы узнать больше, запросите демонстрацию Fiddler на fiddler.ai/demo, или обратитесь к своему представителю AMD или Fiddler.












