Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Maksimizatsiya rentabelnosti investitsiy v uskoriteli ii s pomoschyu spetsializi
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Максимизация рентабельности инвестиций в ускорители ИИ с помощью специализированных систем хранения данных

Источник: Google Cloud Blog•17 ноября 2026 г. в 00:07

Максимизация рентабельности инвестиций в ускорители ИИ с помощью специализированных систем хранения данных

Чтобы дорогостоящие ускорители ИИ, такие как GPU и TPU, не простаивали, вам необходимо хранилище, интегрированное с уровнями вычислений и сети.

Инфраструктура ИИ — это гораздо больше, чем просто покупка ускорителей. Фактически, основная задача корпоративной инфраструктуры ИИ сместилась с приобретения ускорителей на обеспечение их полной загрузки. По сравнению с этими дорогостоящими ускорителями, затраты на хранение данных составляют лишь малую часть общих расходов на ИИ. Однако использование неподходящей системы хранения может поставить под угрозу остальную часть вашего капитала, вложенного в вычислительные мощности.

Чтобы оптимизировать совокупную стоимость владения (TCO) ваших ускорителей, необходимо обеспечить их полную занятость. Зачастую основной проблемой здесь является ввод-вывод данных. Если ускорители простаивают в ожидании чтения или записи данных, вы теряете деньги. В отрасли недостаточная пропускная способность хранилищ стала главным препятствием на пути к успеху в области ИИ, лишая модели необходимых им данных. И эта проблема будет только усугубляться. По данным Gartner predicts, в ближайшие несколько лет предприятия развернут более 150 000 агентов, поэтому узкое место ввода-вывода и задача оркестрации хранилищ для парка агентов будут только нарастать.

Организации стремятся развивать свои инициативы в области ИИ, но предотвращение простоя вычислительных мощностей требует специализированного подхода к вводу-выводу данных. Учитывая требования ИИ, стандартные корпоративные системы хранения — даже те, что оптимизированы для быстрой аналитики — неизбежно будут страдать от «бутылочных горлышек», из-за которых вычислительные ресурсы будут простаивать в ожидании.

ИИ — это не монолитная рабочая нагрузка

Самая распространенная архитектурная ошибка, которую мы наблюдаем, — это отношение к ИИ как к единой рабочей нагрузке общего назначения. В действительности физическое перемещение данных меняется на протяжении всего жизненного цикла ИИ, создавая различные профили ввода-вывода в зависимости от того, как модели потребляют и генерируют информацию:

  • При обучении моделей кластеры считывают наборы данных с высокой пропускной способностью, но регулярно делают паузы для записи контрольных точек (чекпоинтов), чтобы зафиксировать свое состояние в случае сбоя. Когда тысячи GPU пытаются сохранить эти данные одновременно, стандартные архитектуры хранения данных «захлебываются». Это особенно актуально для традиционных облачных хранилищ, спроектированных с упором на долговечность. Запись контрольных точек инициирует тысячи административных транзакций базы данных для безопасной записи файлов, что перегружает систему, забивает сеть и «замораживает» весь кластер GPU до завершения сохранения. Более того, сохранение данных — это лишь одна из проблем: если сервер выходит из строя, медленное хранилище превращает обычное восстановление из контрольной точки в многочасовую задержку, оставляя дорогостоящие ускорители полностью простаивать.

При обучении моделей кластеры считывают наборы данных с высокой пропускной способностью, но регулярно делают паузы для записи контрольных точек (чекпоинтов), чтобы зафиксировать свое состояние в случае сбоя. Когда тысячи GPU пытаются сохранить эти данные одновременно, стандартные архитектуры хранения данных «захлебываются». Это особенно актуально для традиционных облачных хранилищ, спроектированных с упором на долговечность. Запись контрольных точек инициирует тысячи административных транзакций базы данных для безопасной записи файлов, что перегружает систему, забивает сеть и «замораживает» весь кластер GPU до завершения сохранения. Более того, сохранение данных — это лишь одна из проблем: если сервер выходит из строя, медленное хранилище превращает обычное восстановление из контрольной точки в многочасовую задержку, оставляя дорогостоящие ускорители полностью простаивать.

  • Инференс (вывод), напротив, является процессом реального времени, чувствительным к задержкам. По мере масштабирования сервисов ИИ для удовлетворения спроса пользователей кластеры инференса постоянно быстро загружают и выгружают репозитории моделей петабайтного масштаба. В этом случае медленная система хранения может привести к «холодному старту» GPU, пока они ожидают данные. Кроме того, многие модели сейчас обрабатывают контекстные окна, превышающие 100 000 токенов, заполняя память ускорителя. Без высокоскоростного внешнего кэша для выгрузки этого контекста, когда пользователь задает следующий вопрос, ускорителю приходится пересчитывать предыдущие входные данные, тратя вычислительные ресурсы на избыточные операции.

Инференс (вывод), напротив, является процессом реального времени, чувствительным к задержкам. По мере масштабирования сервисов ИИ для удовлетворения спроса пользователей кластеры инференса постоянно быстро загружают и выгружают репозитории моделей петабайтного масштаба. В этом случае медленная система хранения может привести к «холодному старту» GPU, пока они ожидают данные. Кроме того, многие модели сейчас обрабатывают контекстные окна, превышающие 100 000 токенов, заполняя память ускорителя. Без высокоскоростного внешнего кэша для выгрузки этого контекста, когда пользователь задает следующий вопрос, ускорителю приходится пересчитывать предыдущие входные данные, тратя вычислительные ресурсы на избыточные операции.

Ведущая в отрасли производительность объектных и файловых хранилищ

Чтобы решить эти проблемы ввода-вывода и обеспечить загрузку дорогостоящих ускорителей, организациям необходимо глубоко интегрировать вычисления, сеть и хранилище.

Как отмечают отраслевые аналитики, корпоративные клиенты получают уникальное преимущество в производительности, поскольку Google Cloud работает на той же основе хранения данных, что и собственные потребительские продукты Google. Эта основа построена на Colossus — распределенной файловой системе планетарного масштаба, на которой работают Google Search, YouTube и Gemini. Поскольку эта общая инфраструктура ежедневно поддерживает миллиарды пользователей, ее надежность постоянно подтверждается в условиях экстремального трафика и аппаратных требований глобальных потребительских сервисов Google. В результате сегодня девять из десяти ведущих мировых лабораторий по созданию передовых моделей ИИ используют инфраструктуру Google Cloud, потому что мы обеспечиваем пропускную способность и производительность, необходимые им для инноваций. Фактически, последние два года мы совместно проектировали нашу архитектуру хранения данных напрямую с этими передовыми лабораториями, а также с командами Google, занимающимися созданием базовых моделей.

Для крупномасштабного обучения на объектном хранилище наша архитектура гарантирует, что рабочие нагрузки не будут ждать данных, и успешно поглощает пиковые требования к пропускной способности. Для инференса в реальном времени такие компании, как Salesforce AI Research, используют нашу архитектуру для обслуживания сложных агентных рабочих нагрузок инференса с использованием на 40% меньшего количества GPU. Мы достигаем этих результатов с помощью двух различных специализированных решений для хранения данных:

  • Cloud Storage Rapid: Для организаций, которые стандартизировали использование облачного объектного хранилища, Cloud Storage Rapid предоставляет масштаб и производительность Colossus непосредственно ускорителям, чтобы они могли использовать данные, хранящиеся в объектном хранилище, в своих рабочих процессах ИИ. Это устраняет необходимость миграции данных в отдельные специализированные хранилища для достижения производительности, требуемой рабочими нагрузками ИИ. Один бакет Rapid расширяет границы объектного хранилища, обеспечивая пропускную способность до 15 ТБ/с и 20 миллионов запросов в секунду с задержкой менее миллисекунды. Это делает его отличным решением для потоковой передачи больших наборов данных для обучения и восстановления контрольных точек без создания «бутылочного горлышка» в сети. Для пиковых нагрузок, таких как загрузка моделей в нескольких местах, Rapid Cache выступает в качестве ускорителя чтения, размещая активные данные непосредственно в кластерах TPU и GPU. Без внесения изменений в код Rapid Cache обеспечивает совокупную пропускную способность чтения до 2,5 ТБ/с, сокращая время «холодного старта» с часов до минут.

Cloud Storage Rapid: Для организаций, стандартизировавших использование облачных объектных хранилищ, Cloud Storage Rapid предоставляет масштабируемость и производительность Colossus непосредственно для ускорителей, позволяя им использовать данные, хранящиеся в объектном хранилище, в своих рабочих процессах ИИ. Это устраняет необходимость переноса данных в отдельные специализированные хранилища для достижения производительности, требуемой рабочими нагрузками ИИ. Один бакет Rapid расширяет границы объектного хранилища, обеспечивая пропускную способность до 15 ТБ/с и 20 миллионов запросов в секунду с задержкой менее миллисекунды. Это делает его отличным решением для потоковой передачи больших наборов данных обучения и восстановления контрольных точек без создания узких мест в сети. Для пиковых нагрузок, таких как загрузка моделей в нескольких локациях, Rapid Cache выступает в качестве ускорителя чтения, размещая активные данные непосредственно рядом с кластерами TPU и GPU. Без необходимости изменения кода Rapid Cache обеспечивает совокупную пропускную способность чтения до 2,5 ТБ/с, сокращая время «холодного старта» с часов до минут.

  • Google Cloud Managed Lustre: Для требовательных рабочих нагрузок ИИ и высокопроизводительных вычислений (HPC), которым нужна параллельная файловая система, существует Google Cloud Managed Lustre. Созданная в партнерстве с DDN, Managed Lustre обеспечивает пропускную способность до 10 ТБ/с на экземпляр, поглощая интенсивные всплески операций чтения-записи при синхронном создании контрольных точек и обучении с подкреплением, благодаря чему ваши дорогостоящие ускорители остаются полностью загруженными. Чтобы помочь организациям масштабировать рабочие нагрузки без превышения бюджета, новый уровень Dynamic Tier в Managed Lustre позволяет получить больше возможностей Lustre за меньшие деньги, объединяя «горячие» и «холодные» данные в единое пространство имен и устраняя традиционные проблемы с производительностью кэширования. Наконец, функция Managed Lustre Cloud Storage Mirror сокращает время простоя и операционные сложности, связанные с ручной передачей данных. Вместо того чтобы писать собственные скрипты, из-за которых дорогостоящие вычислительные кластеры простаивают в ожидании файлов, система автоматически синхронизирует наборы данных в фоновом режиме, чтобы они были готовы до начала обучения.

Google Cloud Managed Lustre: Для требовательных рабочих нагрузок ИИ и высокопроизводительных вычислений (HPC), которым нужна параллельная файловая система, существует Google Cloud Managed Lustre. Созданная в партнерстве с DDN, Managed Lustre обеспечивает пропускную способность до 10 ТБ/с на экземпляр, поглощая интенсивные всплески операций чтения-записи при синхронном создании контрольных точек и обучении с подкреплением, благодаря чему ваши дорогостоящие ускорители остаются полностью загруженными. Чтобы помочь организациям масштабировать рабочие нагрузки без превышения бюджета, новый уровень Dynamic Tier в Managed Lustre позволяет получить больше возможностей Lustre за меньшие деньги, объединяя «горячие» и «холодные» данные в единое пространство имен и устраняя традиционные проблемы с производительностью кэширования. Наконец, функция Managed Lustre Cloud Storage Mirror сокращает время простоя и операционные сложности, связанные с ручной передачей данных. Вместо того чтобы писать собственные скрипты, из-за которых дорогостоящие вычислительные кластеры простаивают в ожидании файлов, система автоматически синхронизирует наборы данных в фоновом режиме, чтобы они были готовы до начала обучения.

Проверено в промышленной эксплуатации при больших масштабах

Эта специализированная инфраструктура хранения уже обеспечивает работу самых требовательных рабочих нагрузок ИИ наших клиентов, помогая им получить максимальную отдачу от инвестиций в вычислительные ресурсы.

  • Thinking Machines Lab использует Cloud Storage Rapid Cache для стабилизации пиков пропускной способности чтения выше 1,8 ТБ/с и достижения коэффициента попаданий в кэш 89%, полностью устраняя ошибки ограничения скорости в своей мультирегиональной архитектуре.

Thinking Machines Lab использует Cloud Storage Rapid Cache для стабилизации пиков пропускной способности чтения выше 1,8 ТБ/с и достижения коэффициента попаданий в кэш 89%, полностью устраняя ошибки ограничения скорости в своей мультирегиональной архитектуре.

  • Shopify развернула более 50 уникальных экземпляров Rapid Cache по всему миру, достигнув пиковой пропускной способности более 2 ТБ/с и сокращения задержек до 90% по сравнению с базовым уровнем, чтобы удовлетворить потребности в данных для растущих вычислительных мощностей.

Shopify развернула более 50 уникальных экземпляров Rapid Cache по всему миру, достигнув пиковой пропускной способности более 2 ТБ/с и сокращения задержек до 90% по сравнению с базовым уровнем, чтобы удовлетворить потребности в данных для растущих вычислительных мощностей.

  • Salesforce AI Research использует Managed Lustre в качестве внешнего кэша с высокой пропускной способностью и низкой задержкой, чтобы поддерживать полную загрузку своих GPU, что обеспечивает значительный прирост производительности при выводе LLM по сравнению с предыдущими поколениями оборудования.

Salesforce AI Research использует Managed Lustre в качестве внешнего кэша с высокой пропускной способностью и низкой задержкой, чтобы поддерживать полную загрузку своих GPU, что обеспечивает значительный прирост производительности при выводе LLM по сравнению с предыдущими поколениями оборудования.

  • Atlassian внедрила Managed Lustre в Google Kubernetes Engine (GKE), чтобы превратить прерывания из-за вытеснения в быстрое пятиминутное восстановление, обеспечив почти пятикратное увеличение пропускной способности и повышение загрузки GPU на 70% по сравнению с системами на базе NVMe.

Atlassian внедрила Managed Lustre в Google Kubernetes Engine (GKE), чтобы превратить прерывания из-за вытеснения в быстрое пятиминутное восстановление, обеспечив почти пятикратное увеличение пропускной способности и повышение загрузки GPU на 70% по сравнению с системами на базе NVMe.

  • Harmonic полагается на Managed Lustre для обучения моделей математического рассуждения, что позволило исключить 50% прерываний экспериментов, сократить время запуска вдвое и увеличить скорость извлечения данных в 15 раз.

Harmonic полагается на Managed Lustre для обучения моделей математического рассуждения, что позволило исключить 50% прерываний экспериментов, сократить время запуска вдвое и увеличить скорость извлечения данных в 15 раз.

Путь вперед

При консультировании команд по инфраструктуре ИИ, проектирующих свой стек сегодня, наши рекомендации просты. Во-первых, оценивайте экономику токенов, а не только устаревшие метрики хранилищ. Если ваши чипы простаивают в ожидании данных, оптимизация хранилища — это экономически эффективное и действенное решение. Во-вторых, избегайте создания отдельных копий данных для каждой новой рабочей нагрузки; храните основные данные в единой базе и перемещайте их на нужный уровень по мере необходимости. Наконец, хотя производительность ИИ попадает в заголовки новостей, вы не можете строить свою стратегию ИИ на инфраструктуре, созданной для другой эпохи. В то же время инфраструктура ИИ нуждается в надежности корпоративного уровня, встроенной безопасности и автоматизированном контроле затрат для оптимизации совокупной стоимости владения (TCO).

Будущее корпоративного ИИ принадлежит организациям, которые могут превратить свои данные в действия. Google Cloud позволяет вам сопоставить скорость вашего хранилища со скоростью ваших вычислений, чтобы вы могли максимизировать свои инвестиции в вычислительные ресурсы.

  • Хранение и передача данных
  • Инфраструктура ИИ
← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Gartner Magic Quadrant 2026: Системы управления облачными операционными базами данных
Looker

Gartner Magic Quadrant 2026: Системы управления облачными операционными базами данных

Кто несет ответственность, когда ИИ-агенты совершают ошибки?
Redpanda

Кто несет ответственность, когда ИИ-агенты совершают ошибки?

Оценка, наблюдение, действие: практический подход к уверенной эксплуатации AI-агентов
Dynatrace

Оценка, наблюдение, действие: практический подход к уверенной эксплуатации AI-агентов

AI Red Teaming: что тестировать и как реагировать на результаты
Anaconda

AI Red Teaming: что тестировать и как реагировать на результаты

Производство делает большую ставку на ИИ и качество данных.
Collibra

Производство делает большую ставку на ИИ и качество данных.

Модернизация облачных баз данных: сравнение Capella с MongoDB Atlas, Amazon DynamoDB и NoSQL с самостоятельным хостингом
Couchbase

Модернизация облачных баз данных: сравнение Capella с MongoDB Atlas, Amazon DynamoDB и NoSQL с самостоятельным хостингом

Ещё от Looker

Gartner Magic Quadrant 2026: Системы управления облачными операционными базами данных
Looker

Gartner Magic Quadrant 2026: Системы управления облачными операционными базами данных

Как независимые разработчики ПО открывают европейские рабочие нагрузки в Google Cloud Dedicated
Looker

Как независимые разработчики ПО открывают европейские рабочие нагрузки в Google Cloud Dedicated

Обзор новых возможностей Data Boundary
Looker

Обзор новых возможностей Data Boundary

Создание агентов реального времени для зарядки электромобилей с помощью Gemma и TPU
Looker

Создание агентов реального времени для зарядки электромобилей с помощью Gemma и TPU

Сертификация Google Cloud Agentic Architect
Looker

Сертификация Google Cloud Agentic Architect

Загадка трехслойной сети GKE
Looker

Загадка трехслойной сети GKE