Мы рады сообщить, что Together AI сотрудничает с IBM и NVIDIA в области масштабирования инференса ИИ корпоративного класса, начиная с крупного кластера графических процессоров NVIDIA B300 в IBM Cloud на базе сетевой архитектуры NVIDIA Spectrum-X Ethernet. Это первый специализированный крупномасштабный кластер инференса такого рода в IBM Cloud, и мы являемся первыми клиентами, которые на нем работают.
Что происходит на самом деле
- Инфраструктура: выделенный кластер графических процессоров NVIDIA B300, созданный специально для инференса и работающий на базе IBM Cloud.
- Модель: мы управляем слоем инференса, IBM предоставляет облако, а NVIDIA поставляет кремний и сетевые технологии.
- Динамика: мы строим планы на будущее по мере экспоненциального роста спроса на токены
Почему это важно
Мы основали Together AI, потому что верим: будущее ИИ не должно принадлежать горстке закрытых лабораторий. Эта ставка оправдывается быстрее, чем мы даже ожидали: сотни триллионов токенов обслуживаются ежемесячно для более чем миллиона разработчиков, и спрос продолжает расти.
Предприятия и ИИ-нативные компании выбирают открытые модели по двум простым причинам: их суверенные данные остаются их собственностью, и они получают производительность пограничного уровня за малую долю стоимости закрытых моделей. Чем выше использование, тем выгоднее выглядит эта математика.
Благодаря этому сотрудничеству:
- NVIDIA предоставляет кремний — графические процессоры B300 и сетевые технологии Spectrum-X Ethernet, разработанные для инференса с высокой пропускной способностью.
- IBM привносит многолетний опыт управления критически важной инфраструктурой для крупнейших предприятий мира.
- Together AI предоставляет платформу инференса — самый быстрый и эффективный способ запуска открытых моделей в продакшене, закаленный одними из самых требовательных рабочих нагрузок ИИ на планете.
Сложите это вместе, и результат прост: инференс корпоративного класса в огромном масштабе — больше токенов производственного уровня с надежностью, безопасностью и защитными барьерами, которых ожидают предприятия.
ИИ с открытым исходным кодом должен работать везде, в любом масштабе, так же быстро и надежно, как и любые закрытые решения. Последние несколько лет мы потратили на то, чтобы убедиться в этом, и данное сотрудничество — большой шаг ровно в этом направлении.
