Сегодня мы рады объявить о всеобщей доступности нашей новой серии машин с оптимизированным хранилищем Z4M в Google Compute Engine, которая предлагается как в виде виртуальных машин (ВМ), так и в виде экземпляров «голое железо» (bare-metal).

Мы создали Z4M для предоставления хранилища под рабочие нагрузки обучения и инференса ИИ/МО, такие как контрольные точки (checkpointing), распределенный кэш ключ-значение (KV) и параллельные файловые системы — рабочие нагрузки, которые обрабатывают огромные объемы данных и требуют масштабной параллельной обработки данных, а также высокой пропускной способности хранилища и сети. Низкая задержка при доступе к данным имеет критически важное значение для поддержания полной загрузки графических (GPU) и тензорных (TPU) процессоров. Благодаря процессорам Intel Xeon Scalable пятого поколения и новейшим улучшениям в архитектуре Titanium, Z4M предоставляет до 168 000 ГиБ локального SSD-хранилища (LSSD) в сочетании с сетевыми возможностями Cloud Remote Direct Memory Access (RDMA) со скоростью до 400 Гбит/с. RDMA повышает производительность этих требовательных рабочих нагрузок, сокращая задержку доступа к данным на величину до 60% по сравнению с TCP-сетями, что позволяет увеличить пропускную способность ваших приложений при одновременной оптимизации затрат на облако.

Виртуальные машины и экземпляры «голое железо» Z4M

Портфолио ВМ Z4M позволяет масштабировать инфраструктуру и кластеры в соответствии с требованиями рабочих нагрузок за счет предоставления большой общей емкости LSSD, а также 875 ГиБ емкости LSSD на каждый vCPU. Кроме того, экземпляры «голое железо» Z4M предоставляют прямой доступ к физическому оборудованию без уровня виртуализации, что снижает задержку для таких рабочих нагрузок, как пользовательские гипервизоры, и задач со специфическими требованиями к лицензированию. Экземпляры «голое железо» Z4M также идеально подходят для рабочих нагрузок агентного ИИ (agentic AI), позволяя разработчикам запускать изолированные песочницы в большом масштабе, в том числе с использованием Agent Substrate.

В дополнение к 168 000 ГиБ LSSD-хранилища, ВМ и экземпляры «голое железо» Z4M предлагают до 192 vCPU и до 1536 ГиБ памяти для масштабной обработки данных. Экземпляры Z4M основаны на накопителях Titanium SSD, которые разгружают ресурсы CPU, перекладывая на себя обработку локального хранилища, что обеспечивает обработку данных в реальном времени, низкую задержку, высокую пропускную способность хранилища и повышенную безопасность. Z4M обеспечивает до 15,6 млн IOPS при случайном чтении и до 75 600 МиБ/с пропускной способности при последовательном чтении, повышая производительность и пропускную способность LSSD-хранилища по сравнению с Z3 на 70% и 110% соответственно.

Cloud RDMA и прямой доступ к хранилищу

Z4M обеспечивает малозадержковый доступ к уровню хранения с использованием стандартной сети с поддержкой RDMA со скоростью 400 Гбит/с. Это помогает поддерживать полную загрузку GPU и TPU даже при обработке крупных мультимодальных наборов данных за счет передачи огромных объемов данных на линейной скорости с использованием NVIDIA GPUDirect Storage и TPUDirect Storage. В то же время Z4M передает данные на полной линейной скорости при локальной обработке данных благодаря сбалансированному соотношению емкости LSSD и сетевой пропускной способности 1,4:1.

Создано для требовательных рабочих нагрузок

Категория рабочей нагрузки

Типичные приложения

Преимущества Z4M

Обучение и инференс ИИ/МО

Создание контрольных точек, распределенный кэш «ключ-значение»

Большая емкость LSSD в сочетании с низкозадержной сетью RDMA на 400 Гбит/с, поддерживающей GPUDirect Storage и TPUDirect Storage, что обеспечивает полную загрузку GPU и TPU даже при обработке больших мультимодальных наборов данных.

Параллельные файловые системы и хранилища корпоративного класса

Weka, Sycomp, Silk, VDURA

Очень высокое соотношение vCPU к LSSD (1:875) в сочетании со сбалансированной пропускной способностью LSSD и сети 1,4:1 для повышения производительности приложений за счет локальной обработки данных при одновременной передаче данных клиентам на полной линейной скорости.

Критически важные для бизнеса корпоративные базы данных

SQL, NoSQL, векторные БД, поиск данных

Устойчивая высокая производительность и пропускная способность LSSD I/O для поддержания большого количества транзакций в секунду.

Что говорят клиенты и партнеры

«Компания Nutanix стремится помогать организациям запускать свои приложения и данные везде. Развертывание Nutanix Cloud Clusters (NC2) на новых металлических экземплярах Z4M от Google Cloud отражает эту миссию и наше продолжающееся партнерство с Google Cloud. Сочетая исключительную производительность ввода-вывода и высокую плотность хранения Z4M с передовыми вычислительными возможностями Intel и эффективностью на базе AMX, NC2 на базе Z4M обеспечивает масштаб, плотность и производительность, необходимые для работы всего — от плотных VDI-кластеров до требовательных, ресурсоемких рабочих нагрузок ИИ». — Савеин Пакала (Saveen Pakala), вице-президент по управлению продуктами, Nutanix

«Виртуальные машины Z4M от Google привносят Cloud RDMA в оптимизированную под хранение ВМ с гораздо более высокой плотностью локальных SSD по сравнению с предыдущими поколениями. В ходе нашего тестирования Cloud RDMA на Z4M продемонстрировала выдающуюся производительность: задержка снижена до 3,7 раз, а использование CPU — до 6 раз по сравнению с TCP. Для наших клиентов это означает более быструю и предсказуемую производительность в самых разных сценариях использования: от баз данных с интенсивным вводом-выводом до аналитики и рабочих нагрузок ИИ, обладая при этом плотностью хранения для эффективного масштабирования емкости». — Адик Соколовски (Adik Sokolovski), директор по исследованиям и разработкам, Silk

«Мы рады поддержать новую платформу Z4M от Google Cloud в рамках Sycomp Intelligent Data Storage Platform. Благодаря увеличенной емкости на узел и дальнейшему развитию архитектуры серии Z, Z4M помогает клиентам достигать новых уровней производительности и эффективности. Поддержка таких инноваций, как Z4M, подтверждает стремление Sycomp поставлять высокопроизводительные решения для хранения данных в экосистеме Google Cloud». — Скотт Фадден (Scott Fadden), старший архитектор решений HPC, Sycomp

«Мы годами сотрудничаем с Google Cloud в сфере самых ресурсоемких рабочих нагрузок искусственного интеллекта и машинного обучения. В ходе тестирования мы выяснили, что новые машины Z4M обеспечивают примерно в два раза большую пропускную способность чтения и до 79% больше IOPS от поколения к поколению (семейство Z3). Это означает больше данных, больше токенов и больше выполненной работы. Мы рады видеть, что наши совместные клиенты создадут с помощью этих мощных машин». — Аджай Сингх (Ajay Singh), директор по продуктам, WEKA

Оркестрация с помощью Cluster Director

Вы можете легко настраивать, развертывать и администрировать крупные кластеры Z4M с помощью Cluster Director от Google Cloud, который предлагает расширенные возможности размещения и обслуживания наряду с Cluster Toolkit для быстрого развертывания кластеров. Вы можете просматривать и развертывать рабочие нагрузки в компактной топологии для максимальной производительности или распределять топологию для обеспечения высокой доступности, выбирая зоны доступности. Вы можете объединять или сдвигать обслуживание в этих зонах доступности. Кроме того, вы можете размещать экземпляры Z4M совместно с кластерами GPU и TPU для обработки очень больших наборов данных в реальном времени и в масштабе.

Расширенные возможности обслуживания

Как ВМ Z4M, так и экземпляры «голое железо» упрощают планирование и назначение операций обслуживания благодаря заблаговременному (за несколько дней) уведомлению от системы о предстоящих работах. Для ВМ Z4M с емкостью LSSD 42 000 ГиБ или менее вы можете выполнять «живую» миграцию (live-migrate) экземпляра во время событий обслуживания. ВМ Z4M с емкостью LSSD от 84 000 ГиБ и выше, а также экземпляры «голое железо» Z4M должны быть остановлены и перезапущены во время плановых работ с сохранением ваших данных.

Поддержка Hyperdisk

ВМ Z4M и экземпляры «голое железо» поддерживают Hyperdisk, оптимизированное под рабочие нагрузки блочное хранилище Google Cloud, которое позволяет оптимизировать производительность для каждой рабочей нагрузки путем независимой настройки производительности и емкости хранилища для каждого экземпляра.

В частности, они совместимы с хранилищами Hyperdisk Balanced, Hyperdisk Throughput и Extreme Hyperdisk для масштабируемого высокопроизводительного сетевого хранилища, поддерживая емкость до 512 ТиБ на экземпляр. Для рабочих нагрузок общего назначения Hyperdisk Balanced, обеспечивающий до 320 тыс. IOPS на экземпляр, предлагает оптимальное сочетание производительности и экономической эффективности. Hyperdisk Extreme обеспечивает сверхнизкую задержку и поддерживает до 500 тыс. IOPS и пропускную способность до 12 500 МиБ/с на одну виртуальную машину Z4M и экземпляр «голое железо» (bare-metal), что делает его отличным выбором для ресурсоемких баз данных.

Начните работу с Z4M уже сегодня

Виртуальные машины Z4M и экземпляры «голое железо» уже доступны в отдельных регионах по всему миру. Чтобы начать использовать экземпляры Z4M, выберите Z4M в семействе машин Storage-Optimized при создании новой виртуальной машины или пула узлов GKE в консоли Google Cloud. Подробнее читайте на странице серии машин Z4M. Обратитесь к своему торговому представителю Google Cloud для получения дополнительной информации о доступности по регионам.