Supermicro будет интегрировать, проверять, поставлять и поддерживать дезагрегированные инференс-системы, объединяющие графические процессоры NVIDIA и RDU SambaNova SN50 для инференса на основе агентского ИИ в дата-центрах по всему миру. Системы будут внедряться поэтапно, начиная с первой партии из 10 000 чипов SN50. Сначала они будут поставляться облачным провайдерам нового поколения (NeoClouds) и суверенным облакам, а затем станут доступны предприятиям, запускающим ИИ в собственных дата-центрах.
Это партнерство отвечает меняющимся рыночным тенденциям: ожидается, что агентский ИИ значительно повысит спрос на быстрый и эффективный инференс. Агенты делают тысячи запросов к большим языковым моделям (LLM), и каждый запрос может выполняться минутами, поэтому даже небольшие улучшения скорости и эффективности инференса имеют колоссальную ценность.
Инференс LLM состоит из двух фаз. Фаза предварительного заполнения (prefill) обрабатывает промпт и ограничена производительностью вычислений — именно здесь преуспевают графические процессоры NVIDIA. Фаза декодирования (decode) генерирует ответ по одному токену за раз и ограничена пропускной способностью памяти — именно для этого создавались RDU SambaNova SN50. Поскольку агентские рабочие нагрузки проводят большую часть времени в фазе декодирования, RDU SN50 особенно хорошо подходят для их ускорения.
В этом и заключается логика новых систем. Используя лучшее аппаратное обеспечение для каждой фазы, дезагрегированный инференс с использованием RDU SN50 и графических процессоров NVIDIA обеспечивает более быстрый и эффективный результат по сравнению с применением любого из этих типов оборудования по отдельности. А поскольку RDU SN50 выполняют высокоскоростной инференс больших моделей с высокой пропускной способностью без необходимости в чрезвычайно высокой плотности энергопотребления на стойку, клиенты могут развертывать их в существующих дата-центрах.
«Supermicro создает ИИ-инфраструктуру для дата-центров по всему миру, — заявил Родриго Лянг, соучредитель и генеральный директор SambaNova. — Теперь клиенты могут заказывать RDU SN50 вместе с графическими процессорами у всемирно известного и надежного партнера. Именно так быстрый и эффективный инференс выходит на масштабный уровень».
«Supermicro стремится предоставлять гибкую высокопроизводительную ИИ-инфраструктуру, которая отвечает меняющимся требованиям наших клиентов. Наше сотрудничество с SambaNova расширяет наше обширное портфолио DCBBS за счет поддержки гетерогенных архитектур, объединяющих вычисления на GPU со специализированным ускорением инференса, помогая клиентам развертывать эффективные и масштабируемые ИИ-решения», — отметил Чарльз Лянг, президент и генеральный директор Supermicro.
Именно здесь на передний план выходит Supermicro, обеспечивая доставку систем клиентам. Компания берет на себя интеграцию, валидацию, поставку и поддержку, включая сервисное обслуживание на месте. Инженеры SambaNova будут работать бок о бок со специалистами Supermicro над развертыванием систем у клиентов, а также гарантировать, что модели работают корректно и настроены на максимальную производительность на базе RDU SN50.
Для клиентов конечный результат заключается в простоте. Теперь они могут приобретать RDU SN50 так же, как и остальную часть своей ИИ-инфраструктуры — у проверенного партнера по каналам сбыта. SambaNova ожидает, что благодаря этому партнерству в 2027 году будет развернуто значительно больше мощностей для высокопроизводительного инференса, чем это было бы возможно в противном случае.
Supermicro, Server Building Block Solutions и We Keep IT Green являются товарными знаками и/или зарегистрированными товарными знаками Super Micro Computer, Inc. Все остальные бренды, наименования и товарные знаки являются собственностью их соответствующих владельцев.
