NVIDIA выпускает оптимизированные для Dynamo конфигурации развертывания для ведущих открытых моделей Кореи: A.X K2 от SK Telecom, K-EXAONE 2.0 от LG AI Research, Solar Open 2 от Upstage и Motif-3 от Motif Technologies.
По мере того как модели превосходят емкость одного графического процессора, их приходится распределять по нескольким GPU, что требует тщательной координации маршрутизации запросов и обмена данными для поддержания производительности.
NVIDIA Dynamo — это фреймворк для распределенного обслуживания инференса с открытым исходным кодом, созданный для развертывания моделей в многоузловых средах в масштабе дата-центра. Он управляет маршрутизацией и связью для максимизации производительности инференса.
Оптимизированные для графических процессоров NVIDIA B200, эти рецепты избавляют от сложностей при развертывании, обеспечивая до 2 раз большую производительность «из коробки». Они помогают разработчикам быстрее выводить открытые модели Кореи в продакшн и превращать их в общедоступные сервисы ИИ для всех.
Узнайте больше о NVIDIA Dynamo.
