Представленная сегодня NVIDIA Minerva представляет собой платформу AIOps, созданную для того, чтобы помочь командам раньше обнаруживать проблемы и поддерживать производительность ИИ-фабрик. Она объединяет телеметрию от инфраструктуры и рабочих нагрузок ИИ, а затем применяет специализированные модели ИИ для превращения этих данных в своевременные и применимые на практике аналитические сведения.
ИИ-фабрики — это одни из самых сложных производственных комплексов в мире, где колоссальное количество графических процессоров работает в высокоскоростных сетях для обучения моделей и обслуживания ИИ-приложений. При таком масштабе один ухудшивший производительность компонент может замедлить всю задачу. Предупреждающие знаки могут быть легко пропущены, например, когда графический процессор работает горячее своих аналогов или накопитель NVMe теряет производительность под нагрузкой.
Платформа фокусируется на эффективности ИИ-фабрики — мере полезной работы, производимой инфраструктурой за счет часов работы графических процессоров, полезной пропускной способности, времени безотказной работы кластера и генерации токенов.
Обеспечение динамического представления ИИ-фабрики
Традиционные инструменты мониторинга часто разделяют дата-центр на отдельные представления. Сетевые специалисты, инженеры по вычислениям, надежности сайтов и командам машинного обучения видят разные части процесса. Minerva связывает эти сигналы между графическими процессорами NVIDIA, сетями, хранилищами, планировщиками и рабочими нагрузками.
С помощью этих сигналов Minerva строит динамический граф знаний, который логически отображает инфраструктуру — графические процессоры, SuperNIC, коммутаторы и кабели — и выполняемые на ней задачи. Этот контекст помогает операторам отследить медленно выполняющуюся задачу обучения до компонента, влияющего на нее, даже в масштабах фабрики с сотнями тысяч графических процессоров.
Она анализирует миллиарды точек данных в час с помощью контролируемого и неконтролируемого машинного обучения. Она изучает нормальное поведение, обнаруживает ранее невидимые аномалии, прогнозирует возникающие сбои и соотносит связанные события на основе топологии фабрики. Вместо того чтобы отправлять оператору каждое симптоматическое сообщение, система может сгруппировать шторм событий в один сфокусированный инцидент с вероятной первопричиной.
Minerva поставляется со встроенным ИИ-ассистентом и подключается к внешним инструментам агентного ИИ. Это добавляет интерфейс на естественном языке, основанный на живой телеметрии. Операторы могут исследовать состояние кластера и получать рекомендуемые методы устранения неполадок в процессе диалога. Команды могут оставлять человека в контуре для ручного внедрения исправлений или подключать Minerva к автоматизации через прикладные программные интерфейсы инфраструктуры и внешние системы.
Результаты, максимизирующие эффективность ИИ-фабрики
Возможность соотносить проблемы рабочих нагрузок и инфраструктуры наряду с возможностями агентного ИИ помогает упростить управление ИИ-фабриками. Вместо того чтобы справляться с лавиной оповещений, Minerva объединяет связанные проблемы в один элемент, с которым можно действовать. Это позволяет командам AIOps перейти от реактивного обслуживания к проактивному. И все это помогает ИИ-фабрикам максимизировать время безотказной работы графических процессоров.
Minerva приносит пользу по ключевым метрикам, на которых сосредоточены ИИ-фабрики:
- Увеличение времени между сбоями: Minerva обнаруживает неполадки до их возникновения, поэтому задачи выполняются дольше без инцидентов.
- Сокращение времени на ремонт: Когда инцидент все же происходит, Minerva точно определяет проблему, что ведет к значительно более быстрому ее разрешению.
- Глубокая аналитика: Современная инфраструктура ИИ генерирует поток данных; Minerva отфильтровывает его, оставляя лишь несколько оповещений, которые действительно имеют значение.
Компания IREN входит в число партнеров NVIDIA, использующих Minerva для оптимизации своих ИИ-фабрик.
«По мере масштабирования наших ИИ-фабрик ключевым фактором предоставления наилучшего сервиса для наших клиентов является максимизация производительности наших графических процессоров, — сказал Денис Скринников, технический директор IREN. — NVIDIA Minerva дает нашей операционной команде единое представление о сети, графических процессорах и выполняемых на них задачах, поэтому мы больше концентрируемся на проактивном обслуживании, а не на устранении неполадок. Такая прозрачность укрепляет нашу операционную модель для инфраструктуры, которую мы строим в дальнейшем».
Наряду с IREN, компании Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI и Tesla планируют развернуть Minerva.
В дополнение к Dell Technologies, Lenovo и Supermicro предложат Minerva как часть своих портфелей решений для ИИ-фабрик.
Узнайте больше о NVIDIA Minerva.
Смотрите notice информацию о программных продуктах.
