Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Predstavlyaem together storage accelerator bystroe i besplatnoe keshirovanie dan
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Представляем Together Storage Accelerator: быстрое и бесплатное кэширование данных для вашего кластера GPU

Источник: Together AI•19 ноября 2026 г. в 23:02

Представляем Together Storage Accelerator: быстрое и бесплатное кэширование данных для вашего кластера GPU

Together Storage Accelerator — это распределенный уровень кэширования для Together GPU Clusters: примерно в 20 раз более быстрое чтение из кэша, одно обращение к источнику на кластер, отсутствие изменений в приложениях и полная бесплатность.

Ваши GPU работают ровно так же быстро, как и ваши конвейеры данных. Каждая тренировка модели, которая начинается с 30-минутной загрузки, каждый узел, повторно скачивающий тот же набор данных из другого региона, и каждый лимит запросов Hugging Face, останавливающий задачу, приводят к тому, что вычислительные ресурсы простаивают в ожидании данных, пока вы продолжаете за них платить.

Сегодня мы запускаем Together Storage Accelerator (TSA) — распределенный уровень кэширования для Together GPU Clusters, который избавляет от необходимости повторного чтения данных из объектного хранилища и Hugging Face Hub, значительно ускоряя ваши конвейеры данных ИИ и одновременно сокращая расходы на исходящий трафик. Теперь TSA поставляется бесплатно с каждым кластером Together GPU Cluster.

Проблема: ваши данные находятся далеко от ваших GPU

Большинство команд, занимающихся ИИ, хранят источник достоверных данных в объектном хранилище (Amazon S3, Cloudflare R2, T4* от Together AI) или загружают модели напрямую из Hugging Face Hub. Это означает, что каждый холодный старт влечет за собой «налог на WAN»: чтение между облаками или регионами происходит медленно, стоит дорого (исходящий трафик из AWS обходится до $0.09/ГБ) и имеет ограничения по количеству запросов. Будучи умноженными на сотни узлов, запрашивающих одну и ту же контрольную точку, эти потери накапливаются, сто́ят вам времени, денег и приводят к сбоям задач при ограничении скорости со стороны источника.

*T4 — это решение Together AI для совместимого с S3 объектного хранилища в дата-центре, которое в настоящее время находится в режиме ограниченного предварительного просмотра. Пожалуйста, свяжитесь с отделом продаж или вашей командой поддержки, если хотите протестировать его.

TSA кэширует данные, повышая производительность, надежность и снижая затраты

TSA предоставляет распределенный уровень кэширования для кластеров GPU. Он работает на каждом узле GPU в вашем кластере и предоставляет готовые точки входа для хранилища, которое вы уже используете. Когда узел впервые считывает объект, TSA кэширует его на NVMe кластера. В результате каждое последующее чтение с любого узла обслуживается изнутри кластера с существенно более высокой локальной скоростью.

Результат, измеренный на узле H100 в Together GPU Cluster:

  • ~в 20 раз более быстрое чтение из кэша по сравнению с загрузкой из межоблачного источника, со скоростью до 3,4 ГБ/с на узел. Объект размером 2 ГБ, загрузка которого из Cloudflare R2 занимала 13–15 с, считывается из кэша за 0,6–0,7 с.
  • Холодное чтение не требует дополнительных затрат: первое чтение через TSA выполнялось примерно с 5% отклонением от прямой загрузки.
  • Одно обращение к источнику на кластер. Контрольная точка размером 70 ГБ, запрошенная 200 узлами, скачивается из источника один раз, а не 200 раз.
  • Устойчивость к сбоям и ограничениям скорости. Кэшированные данные продолжают обслуживаться, даже если вышестоящий источник недоступен.

Вы можете начать использовать TSA без каких-либо изменений в вашем приложении. Никаких новых SDK или переписанных загрузчиков данных — начать работу можно с помощью одной команды.

Начало работы:

Ваш существующий код boto3, вызовы transformers и рабочие процессы CLI работают как есть. TSA обрабатывает аутентификацию с помощью настроенных вами учетных данных. Учетные данные шифруются и надежно хранятся в хранилище секретов.

Измеренные результаты

Измерения проводились 28.10.2026 с пода на одном узле H100 в Together GPU Cluster (us-central). Если не указано иное, использовалось чтение с одним потоком; клиенты записывали данные в /dev/null или на NVMe узла.

  • Чтение объекта объемом 2 ГБ из межоблачного бакета (Cloudflare R2): 143–169 МБ/с (12,7–15,0 с) без TSA, 3,0–3,4 ГБ/с (0,64–0,72 с) с прогретым TSA. ~в 20 раз
  • Чтение мелких файлов из того же бакета (5 КБ, 2,4 МБ): 320 мс и 680 мс без TSA, 5 мс и 8 мс с прогретым TSA. задержка ниже в ~60–80 раз
  • Кластер из 200 узлов, загружающий одну и ту же контрольную точку: 200 обращений к источнику без TSA, 1 с TSA. Исходящий трафик меньше в 200 раз

Измерено на предварительном развертывании Together GPU Clusters (TSA chart 0.6.0); ваши результаты зависят от источника, размеров объектов и сетевого маршрута. Скорость источника зависит от региона: та же загрузка Hugging Face выполнилась в 5 раз быстрее из us-central, чем из ca-west, поэтому выгода от TSA максимальна там, где источник работает медленнее всего. Методология: однопоточные curl и aws s3 cp с пода на узле GPU, многократное чтение одного и того же объекта с проверкой MD5 по сравнению с прямой загрузкой.

На базе ASTRA

TSA использует ASTRA (Accelerated Storage Transport & Retrieval Architecture) — технологию распределенного кэширования, созданную нами для обслуживания одних из крупнейших парков GPU в мире, включая наш собственный парк для инференса. Мы поделимся более подробным техническим обзором ASTRA в одной из наших будущих инженерных статей.

Работает еще лучше в сочетании с T4

TSA работает с любым S3-совместимым хранилищем и отлично дополняет T4 — управляемое решение объектного хранилища от Together AI. Подключите TSA к вашим существующим бакетам S3 или R2 уже сегодня без миграции данных. Когда вам понадобится, чтобы ваши кэшированные данные постоянно находились рядом с вашими GPU, T4 потребует лишь одного изменения конфигурации. T4 в настоящее время доступен в режиме ограниченного предварительного просмотра: обратитесь в отдел продаж или к вашей команде поддержки для получения доступа.

Начать работу

Together Storage Accelerator уже доступен в Together GPU Clusters без дополнительной платы. Включите его на странице настроек вашего кластера или ознакомьтесь с документацией, чтобы перейти от нуля до ускорения менее чем за десять минут.

→ Создать кластер

‍→ Читать документацию

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Удаленный MCP-сервер Redis Cloud теперь доступен для ваших ИИ-агентов
Redis

Удаленный MCP-сервер Redis Cloud теперь доступен для ваших ИИ-агентов

Сколько звонков может одновременно обрабатывать голосовой ИИ-агент?
ElevenLabs

Сколько звонков может одновременно обрабатывать голосовой ИИ-агент?

Как читать бенчмарк OCR, прежде чем начать ему доверять
Datalab

Как читать бенчмарк OCR, прежде чем начать ему доверять

Как Abundant спроектировала эффективную архитектуру развертывания с помощью Modal Sandboxes
Modal

Как Abundant спроектировала эффективную архитектуру развертывания с помощью Modal Sandboxes

NVIDIA и Microsoft расширяют сферу применения ускоренных вычислений — от Azure до ПК с Windows
NVIDIA

NVIDIA и Microsoft расширяют сферу применения ускоренных вычислений — от Azure до ПК с Windows

Доверенный ИИ: определение, основные столпы и фреймворк для предприятий
Automation Anywhere

Доверенный ИИ: определение, основные столпы и фреймворк для предприятий

Ещё от Together AI

В прошлом году мы создали мегакернелы. В этом — удалили их: путь к Together Compiler
Together AI

В прошлом году мы создали мегакернелы. В этом — удалили их: путь к Together Compiler

Как заставить открытые модели работать с долгосрочными агентскими рабочими нагрузками
Together AI

Как заставить открытые модели работать с долгосрочными агентскими рабочими нагрузками

Как мы упрощаем использование Together AI для агентов-кодировщиков
Together AI

Как мы упрощаем использование Together AI для агентов-кодировщиков

Полиморфный вывод: самонастраивающийся вывод для открытых моделей
Together AI

Полиморфный вывод: самонастраивающийся вывод для открытых моделей

Together Compiler: непрерывная компиляция для инференса ИИ
Together AI

Together Compiler: непрерывная компиляция для инференса ИИ

Автоматический ремонт для кластеров Together GPU: от сбоя GPU до исправного узла
Together AI

Автоматический ремонт для кластеров Together GPU: от сбоя GPU до исправного узла