Ваши GPU работают ровно так же быстро, как и ваши конвейеры данных. Каждая тренировка модели, которая начинается с 30-минутной загрузки, каждый узел, повторно скачивающий тот же набор данных из другого региона, и каждый лимит запросов Hugging Face, останавливающий задачу, приводят к тому, что вычислительные ресурсы простаивают в ожидании данных, пока вы продолжаете за них платить.
Сегодня мы запускаем Together Storage Accelerator (TSA) — распределенный уровень кэширования для Together GPU Clusters, который избавляет от необходимости повторного чтения данных из объектного хранилища и Hugging Face Hub, значительно ускоряя ваши конвейеры данных ИИ и одновременно сокращая расходы на исходящий трафик. Теперь TSA поставляется бесплатно с каждым кластером Together GPU Cluster.
Проблема: ваши данные находятся далеко от ваших GPU
Большинство команд, занимающихся ИИ, хранят источник достоверных данных в объектном хранилище (Amazon S3, Cloudflare R2, T4* от Together AI) или загружают модели напрямую из Hugging Face Hub. Это означает, что каждый холодный старт влечет за собой «налог на WAN»: чтение между облаками или регионами происходит медленно, стоит дорого (исходящий трафик из AWS обходится до $0.09/ГБ) и имеет ограничения по количеству запросов. Будучи умноженными на сотни узлов, запрашивающих одну и ту же контрольную точку, эти потери накапливаются, сто́ят вам времени, денег и приводят к сбоям задач при ограничении скорости со стороны источника.
*T4 — это решение Together AI для совместимого с S3 объектного хранилища в дата-центре, которое в настоящее время находится в режиме ограниченного предварительного просмотра. Пожалуйста, свяжитесь с отделом продаж или вашей командой поддержки, если хотите протестировать его.
TSA кэширует данные, повышая производительность, надежность и снижая затраты
TSA предоставляет распределенный уровень кэширования для кластеров GPU. Он работает на каждом узле GPU в вашем кластере и предоставляет готовые точки входа для хранилища, которое вы уже используете. Когда узел впервые считывает объект, TSA кэширует его на NVMe кластера. В результате каждое последующее чтение с любого узла обслуживается изнутри кластера с существенно более высокой локальной скоростью.
Результат, измеренный на узле H100 в Together GPU Cluster:
- ~в 20 раз более быстрое чтение из кэша по сравнению с загрузкой из межоблачного источника, со скоростью до 3,4 ГБ/с на узел. Объект размером 2 ГБ, загрузка которого из Cloudflare R2 занимала 13–15 с, считывается из кэша за 0,6–0,7 с.
- Холодное чтение не требует дополнительных затрат: первое чтение через TSA выполнялось примерно с 5% отклонением от прямой загрузки.
- Одно обращение к источнику на кластер. Контрольная точка размером 70 ГБ, запрошенная 200 узлами, скачивается из источника один раз, а не 200 раз.
- Устойчивость к сбоям и ограничениям скорости. Кэшированные данные продолжают обслуживаться, даже если вышестоящий источник недоступен.
Вы можете начать использовать TSA без каких-либо изменений в вашем приложении. Никаких новых SDK или переписанных загрузчиков данных — начать работу можно с помощью одной команды.
Начало работы:
Ваш существующий код boto3, вызовы transformers и рабочие процессы CLI работают как есть. TSA обрабатывает аутентификацию с помощью настроенных вами учетных данных. Учетные данные шифруются и надежно хранятся в хранилище секретов.
Измеренные результаты
Измерения проводились 28.10.2026 с пода на одном узле H100 в Together GPU Cluster (us-central). Если не указано иное, использовалось чтение с одним потоком; клиенты записывали данные в /dev/null или на NVMe узла.
- Чтение объекта объемом 2 ГБ из межоблачного бакета (Cloudflare R2): 143–169 МБ/с (12,7–15,0 с) без TSA, 3,0–3,4 ГБ/с (0,64–0,72 с) с прогретым TSA. ~в 20 раз
- Чтение мелких файлов из того же бакета (5 КБ, 2,4 МБ): 320 мс и 680 мс без TSA, 5 мс и 8 мс с прогретым TSA. задержка ниже в ~60–80 раз
- Кластер из 200 узлов, загружающий одну и ту же контрольную точку: 200 обращений к источнику без TSA, 1 с TSA. Исходящий трафик меньше в 200 раз
Измерено на предварительном развертывании Together GPU Clusters (TSA chart 0.6.0); ваши результаты зависят от источника, размеров объектов и сетевого маршрута. Скорость источника зависит от региона: та же загрузка Hugging Face выполнилась в 5 раз быстрее из us-central, чем из ca-west, поэтому выгода от TSA максимальна там, где источник работает медленнее всего. Методология: однопоточные curl и aws s3 cp с пода на узле GPU, многократное чтение одного и того же объекта с проверкой MD5 по сравнению с прямой загрузкой.
На базе ASTRA
TSA использует ASTRA (Accelerated Storage Transport & Retrieval Architecture) — технологию распределенного кэширования, созданную нами для обслуживания одних из крупнейших парков GPU в мире, включая наш собственный парк для инференса. Мы поделимся более подробным техническим обзором ASTRA в одной из наших будущих инженерных статей.
Работает еще лучше в сочетании с T4
TSA работает с любым S3-совместимым хранилищем и отлично дополняет T4 — управляемое решение объектного хранилища от Together AI. Подключите TSA к вашим существующим бакетам S3 или R2 уже сегодня без миграции данных. Когда вам понадобится, чтобы ваши кэшированные данные постоянно находились рядом с вашими GPU, T4 потребует лишь одного изменения конфигурации. T4 в настоящее время доступен в режиме ограниченного предварительного просмотра: обратитесь в отдел продаж или к вашей команде поддержки для получения доступа.
Начать работу
Together Storage Accelerator уже доступен в Together GPU Clusters без дополнительной платы. Включите его на странице настроек вашего кластера или ознакомьтесь с документацией, чтобы перейти от нуля до ускорения менее чем за десять минут.
→ Создать кластер
→ Читать документацию












