Вычислительные ученые и инженеры в области HPC всегда были одними из первых последователей новых вычислительных парадигм, и агенты не стали исключением. Сегодня исследовательские и инженерные группы используют модели ИИ и агенты для таких задач, как обработка плотной научной литературы, оптимизация кода и автономное управление симуляциями.
Тем не менее, переход от агента, предлагающего оптимизацию кода, к агентной системе, которая надежно проектирует, подготавливает и оптимизирует рабочие нагрузки HPC в производственном масштабе, требует большего, чем просто модель рассуждений общего назначения. Без глубокого контекста инфраструктуры и предметной области неуправляемый агент все равно может связать несовместимые уровни хранения с оптимизированными под вычисления виртуальными машинами, пропустить политики размещения или зависнуть при диагностике ошибки многоузловой структуры MPI.
Эта проблема подтолкнула нашу команду задать простой вопрос: что если мы сможем упаковать нашу глубокую экспертизу в области HPC и науки в повторно используемые навыки агентов, превратив сложную настройку и оптимизацию в управляемые рабочие процессы?
На конференции SC26 мы показываем, как Google Cloud воплощает в жизнь агентный HPC с помощью повторно используемых навыков, которые учат агентов создавать и запускать рабочие нагрузки HPC. Кроме того, мы демонстрируем эволюционные агенты, которые оптимизируют ваши алгоритмы в масштабе облака, а также специализированную суперкомпьютерную инфраструктуру, созданную для точек пересечения HPC и ИИ.
Учим агентов языку HPC: от чертежей к навыкам
Организации полагаются на Cluster Toolkit для развертывания повторяемых, готовых к работе в продакшене сред HPC в Google Cloud с помощью декларативных чертежей YAML. Теперь мы расширяем эти возможности, объединяя Cluster Toolkit с компонуемыми навыками агентов, обладающими самоописанными, детерминированными инструментами, прошедшими проверку посредством автоматизированного сквозного тестирования и доступными для скачивания в репозиториях Google Skills и DeepMind Science Skills. В совокупности это обеспечивает:
- Инфраструктурные навыки, выполняющие проверку перед развертыванием: когда вы просите агента развернуть кластер, этот навык предписывает ему сначала проверить квоты вычислений и хранилища, запустить быстрые проверочные тесты (canary checks) на наличие региональных ресурсов, сопоставить вашу рабочую нагрузку с проверенным чертежом Cluster Toolkit и дождаться одобрения человека — и все это перед выполнением команды gcluster deploy.
Инфраструктурные навыки, выполняющие проверку перед развертыванием: когда вы просите агента развернуть кластер, этот навык предписывает ему сначала проверить квоты вычислений и хранилища, запустить быстрые проверочные тесты (canary checks) на наличие региональных ресурсов, сопоставить вашу рабочую нагрузку с проверенным чертежом Cluster Toolkit и дождаться одобрения человека — и все это перед выполнением команды gcluster deploy.
- Специализированные для рабочих нагрузок навыки, знающие науку: после того как ваш кластер заработает, предметные навыки, подключенные к Google Skills и DeepMind Science Skills, направляют агента в таких задачах, как настройка расчетов гидродинамики в OpenFOAM и Siemens STAR-CCM+, тонкая настройка конвейеров наук о жизни в GROMACS и AlphaFold 3 или запуск подземных симуляций в Devito и Open Porous Media (OPM) с трехмерной визуализацией в бразие.
Специализированные для рабочих нагрузок навыки, знающие науку: после того как ваш кластер заработает, предметные навыки, подключенные к Google Skills и DeepMind Science Skills, направляют агента в таких задачах, как настройка расчетов гидродинамики в OpenFOAM и Siemens STAR-CCM+, тонкая настройка конвейеров наук о жизни в GROMACS и AlphaFold 3 или запуск подземных симуляций в Devito и Open Porous Media (OPM) с трехмерной визуализацией в бразие.
- Встроенное управление и диагностика Day-2: агенты работают в рамках строгих ограничений IAM, квот Kueue и бюджетов, с полным отслеживанием происхождения (provenance) в Cloud Logging и структурированными навыками устранения неполадок (gke-kueue-debugging) для автоматического разрешения зависших очередей или освобождения узлов (node drains).
Встроенное управление и диагностика Day-2: агенты работают в рамках строгих ограничений IAM, квот Kueue и бюджетов, с полным отслеживанием происхождения (provenance) в Cloud Logging и структурированными навыками устранения неполадок (gke-kueue-debugging) для автоматического разрешения зависших очередей или освобождения узлов (node drains).
Масштабирование от локального прототипа до прорывного кода
Настройка и запуск существующих решателей — это лишь часть цикла исследований. В финансовых услугах, автоматизации электронного проектирования (EDA), производстве, логистике, фармацевтике и обучении ИИ конкурентное преимущество достигается за счет наличия самого быстрого базового кода и алгоритмов. Исторически извлечение прироста производительности требовало дефицитных специалистов по оптимизации и дорогостоящих вычислений методом грубой силы.
Разработанный Google DeepMind, AlphaEvolve меняет ситуацию, используя эволюционный цикл на базе Gemini для итеративной мутации, бенчмаркинга и оптимизации кода и параметров 3D-инжиниринга по целевым метрикам. Решение AlphaEvolve on Cloud Batch оптимизирует процесс перехода от исходного алгоритма на ноутбуке к масштабному параллельному экспериментированию. С помощью Batch вы получаете:
- Автоматизированная параллельная оценка: один чертеж gcluster подготавливает среду контроллера AlphaEvolve и использует Batch для параллельного распределения сотен оценок кандидатов по изолированным средам (sandboxes) на одной виртуальной машине или многоузловым группам задач MPI.
Автоматизированная параллельная оценка: один чертеж gcluster подготавливает среду контроллера AlphaEvolve и использует Batch для параллельного распределения сотен оценок кандидатов по изолированным средам (sandboxes) на одной виртуальной машине или многоузловым группам задач MPI.
- Интерактивное управление из предпочитаемой вами среды: исследователи могут управлять эволюционными экспериментами и изучать историю происхождения кандидатов через размещенные блокноты Python или интегрировать запуски оптимизации непосредственно в свои существующие рабочие нагрузки CLI и инструменты разработки на базе агентов.
Интерактивное управление из предпочитаемой вами среды: исследователи могут управлять эволюционными экспериментами и изучать историю происхождения кандидатов через размещенные блокноты Python или интегрировать запуски оптимизации непосредственно в свои существующие рабочие нагрузки CLI и инструменты разработки на базе агентов.
- Оценка в производственном масштабе: эволюция алгоритма на одном узле с медленной сетью рискует привести к созданию кода, который хорошо работает только в малом масштабе. Оценивая кандидатов на вычислительных инстансах Google Cloud с использованием Cloud RDMA и Google Cloud Managed Lustre — и применяя виртуальные машины Spot или Dynamic Workload Scheduler (DWS) для балансировки затрат и времени выполнения, — вы получаете алгоритмы, оптимизированные для реальных суперкомпьютерных структур, что навсегда снижает вычислительные затраты на каждый будущий производственный запуск.
Оценка в производственном масштабе: эволюция алгоритма на одном узле с медленной сетью рискует привести к созданию кода, который хорошо работает только в малом масштабе. Оценивая кандидатов на вычислительных инстансах Google Cloud с использованием Cloud RDMA и Google Cloud Managed Lustre — и применяя виртуальные машины Spot или Dynamic Workload Scheduler (DWS) для балансировки затрат и времени выполнения, — вы получаете алгоритмы, оптимизированные для реальных суперкомпьютерных структур, что навсегда снижает вычислительные затраты на каждый будущий производственный запуск.
Суперкомпьютерная инфраструктура «под капотом»
Автономный рабочий процесс эффективен ровно настолько, насколько надежна лежащая в его основе инфраструктура. По мере того как агентные конвейеры динамически переключаются между физическими решателями, зависящими от пропускной способности памяти, доменными базовыми моделями (такими как AlphaFold 3, AlphaGenome и WeatherNext) и масштабным обучением ИИ, Google Cloud предоставляет единую аппаратную и оркестрационную инфраструктуру, управляемую с помощью Cluster Director, которая предлагает:
- Жестко связанный высокопроизводительный (HPC) и масштабируемый вычислютельный ресурс: запуск классических MPI-симуляций на инстансах H4D на базе процессоров AMD EPYC 5-го поколения и Cloud RDMA, включая конфигурации с высокой памятью 3 ТБ, созданные для крупных моделей EDA и инженерного анализа. Кроме того, вы можете максимизировать производительность на ватт на инстансах C4A на базе архитектуры Arm с использованием процессоров Google Axion.
Жестко связанный высокопроизводительный (HPC) и масштабируемый вычислютельный ресурс: запуск классических MPI-симуляций на инстансах H4D на базе процессоров AMD EPYC 5-го поколения и Cloud RDMA, включая конфигурации с высокой памятью 3 ТБ, созданные для крупных моделей EDA и инженерного анализа. Кроме того, вы можете максимизировать производительность на ватт на инстансах C4A на базе архитектуры Arm с использованием процессоров Google Axion.
- Ускорение на базе графических процессоров нового поколения: запуск гибридных физико-интеллектуальных конвейеров и многоузловых симуляций на графических процессорах на инстансах A4 и A4X (NVIDIA Blackwell B200 и GB200 NVL72), масштабирование передового обучения ИИ и рассуждений на недавно доступных выделенных серверах (bare metal) A5X, созданных на платформе NVIDIA Vera Rubin NVL72, а также использование инстансов G4 с графическими процессорами NVIDIA RTX PRO 6000 Blackwell для ускорения CAE, CFD и 3D-визуализации при одновременном снижении затрат на лицензирование программного обеспечения в расчете на одно ядро.
Ускорение на базе графических процессоров нового поколения: запуск гибридных физико-интеллектуальных конвейеров и многоузловых симуляций на графических процессорах на инстансах A4 и A4X (NVIDIA Blackwell B200 и GB200 NVL72), масштабирование передового обучения ИИ и рассуждений на недавно доступных выделенных серверах (bare metal) A5X, созданных на платформе NVIDIA Vera Rubin NVL72, а также использование инстансов G4 с графическими процессорами NVIDIA RTX PRO 6000 Blackwell для ускорения CAE, CFD и 3D-визуализации при одновременном снижении затрат на лицензирование программного обеспечения в расчете на одно ядро.
- TPU 8-го поколения для эпохи агентов: развертывание 8th generation TPUs, включающего TPU 8t для масштабного предварительного обучения, обучения с подкреплением, а также ускоренного математического моделирования и симуляций (ModSim), наряду с TPU 8i для высокопроизводительных рассуждений с низкими задержками и агентного инференса. Кроме того, сервис Batch теперь поддерживает запуск заданий на однохостовых слайсах TPU, предоставляя гибкие возможности выделения ресурсов для ускоренных рабочих нагрузок HPC и AI/ML.
TPU 8-го поколения для эпохи агентов: развертывание , включающего TPU 8t для масштабного предварительного обучения, обучения с подкреплением, а также ускоренного математического моделирования и симуляций (ModSim), наряду с TPU 8i для высокопроизводительных рассуждений с низкими задержками и агентного инференса. Кроме того, сервис Batch теперь поддерживает запуск заданий на однохостовых слайсах TPU, предоставляя гибкие возможности выделения ресурсов для ускоренных рабочих нагрузок HPC и AI/ML.
- Параллельное хранилище с субмиллисекундной задержкой: устранение узких мест в передаче данных между этапами симуляции и ИИ с помощью Google Cloud Managed Lustre, обеспечивающего пропускную способность чтения до 10 ТБ/с, технологию GPUDirect Storage поверх RDMA и динамический уровень объемом 80 ПБ с зеркалированием Cloud Storage. Для еще большей производительности вы можете совместить его с локальным кэшированием SSD в Cloud Storage FUSE.
Параллельное хранилище с субмиллисекундной задержкой: устранение узких мест в передаче данных между этапами симуляции и ИИ с помощью Google Cloud Managed Lustre, обеспечивающего пропускную способность чтения до 10 ТБ/с, технологию GPUDirect Storage поверх RDMA и динамический уровень объемом 80 ПБ с зеркалированием Cloud Storage. Для еще большей производительности вы можете совместить его с локальным кэшированием SSD в Cloud Storage FUSE.
Оцените это вживую на конференции SC26 в Чикаго
Агентный HPC — это не просто предоставление неуправляемым моделям полной свободы действий в терминале. Этот сдвиг заключается в объединении возможностей рассуждений модели Gemini со структурированными инженерными навыками Cluster Toolkit, эволюционной оптимизацией в Batch и специализированным суперкомпьютерным железом, чтобы ваши команды тратили время на открытия, а не на настройку инфраструктуры.
Посетите SC26 (15–20 ноября)? Загляните на стенд №3418 в выставочном центре McCormick Place West, чтобы увидеть живые демонстрации Antigravity for HPC, HPC Prompt Playground и AlphaEvolve for HPC, а также присоединяйтесь к нашему полудневному семинару сообщества передовых вычислений и сессии Birds of a Feather (BoF) по агентному и гибридному HPC.
Чтобы начать разработку уже сегодня, изучите инструменты Google Cloud Cluster Toolkit и решения Google Cloud HPC. Чтобы получить доступ к этим агентным рабочим процессам и внедрить их, загрузите проверенные шаблоны из репозиториев Google Skills и DeepMind Science Skills.
- HPC
