Мы всегда ценим обратную связь от наших клиентов. Один запрос встречался особенно часто: GPU-сервер с несколькими видеокартами. И вот он наконец здесь: наш первый мульти-GPU сервер GEX430.

Аппаратное обеспечение внутри GEX430

Наш новый мульти-GPU сервер GEX430 оснащен четырьмя графическими процессорами NVIDIA RTX PRO™ 6000 Blackwell Max-Q, каждый из которых имеет 96 ГБ видеопамяти GDDR7 ECC, что в сумме дает 384 ГБ. Это делает сервер особенно подходящим для ресурсоемких задач ИИ, требовательного рендеринга, симуляций и приложений для анализа данных. Он расширяет нашу линейку GPU-Line для профессиональных бизнес-задач.

Четыре GPU занимают слоты PCIe на материнской плате, каждый из которых подключен напрямую к процессору через 16 линий PCIe 4.0. Это дает каждому GPU доступ к полной пропускной способности без необходимости делить ее с другим графическим процессором. С помощью соответствующих фреймворков вы можете либо назначать разные задачи отдельным GPU, либо заставить все четыре работать вместе над вычислительно сложной задачей.

Характеристики:

Четыре NVIDIA RTX PRO™ 6000 GPU с 96 ГБ GDDR7 ECC VRAM каждый, всего 384 ГБ
RT-ядра 4-го поколения
4 × 752 тензорных ядра 5-го поколения
Производительность ИИ: 4 × 3511 AI TOPS
Поддержка FP4
Intel® Xeon® Gold 5412U с 24 ядрами и 48 потоками
2 × 1,92 ТБ NVMe SSD корпоративного класса (Gen4, программный RAID 1)
128 ГБ оперативной памяти DDR5 ECC с регистрацией

Варианты использования

Запуск большой языковой модели

Хотите анализировать обширные документы, решать сложные задачи по программированию или создавать комплексных ИИ-агентов? Тогда вам может потребоваться запуск особенно большой и мощной LLM.

Подходящие модели варьируются от 70 до 100 миллиардов параметров при 16-битной точности (BF16). Только веса таких моделей требуют около 140–200 ГБ видеопамяти. Использование 8-битной точности (FP8) может примерно вдвое сократить это требование.

Хорошим примером является Kolibri от Aleph Alpha. Эта языковая модель, разработанная в Германии, имеет 78 миллиардов параметров и требует около 156 ГБ видеопамяти при точности BF16, поэтому она не поместится ни на один отдельный GPU в сервере. С помощью подходящих фреймворков вы можете распределить модель между несколькими GPU. Дополнительная память также оставляет место для более длинных контекстов — всего того, что модель учитывает одновременно при обработке запроса.

Еще один подходящий пример — Llama 3 70B, с 80 миллиардами параметров и теоретической потребностью в памяти около 160 ГБ при точности BF16.

Обслуживание большого количества пользователей

Видеопамять также критически важна для ИИ-инференса. Чем больше запросов модель обрабатывает одновременно, тем больше памяти ей обычно требуется. Имея 384 ГБ, GEX430 предлагает большой запас для одновременного обслуживания множества пользователей.

Это полезно для чат-бота поддержки интернет-магазина, когда многочисленные клиенты внезапно обращаются за помощью после рекламной кампании. Также выгодно внедрить внутреннего помощника по знаниям, когда большое количество сотрудников вашей команды хотят использовать модель одновременно в часы пиковой нагрузки.

Запуск нескольких LLM одновременно

Не каждая ИИ-модель одинаково хороша во всех задачах. Некоторые специализируются на универсальных приложениях, другие фокусируются на программировании, распознавании речи или обработке документов. Поэтому для бизнеса может быть целесообразно запускать несколько моделей одновременно. Большая языковая модель отвечает на сложные вопросы клиентов, модель для программирования поддерживает команду разработчиков, а модель поменьше сортирует входящие запросы.

С GEX430 вы можете распределить эти задачи между четырьмя разными GPU. Это позволяет запускать несколько моделей параллельно без необходимости перезагружать их для каждого запроса, при условии, что они помещаются в доступную память.

Обучение ИИ, дообучение и RAG

С помощью GEX430 вы можете адаптировать существующие ИИ-модели под конкретные задачи. Благодаря дообучению (fine-tuning) ваша модель может выучить техническую терминологию, правила написания или специфические рабочие процессы вашей компании. Такие методы, как LoRA, снижают затраты на обучение, корректируя лишь небольшую часть параметров модели.

Комбинируя модель с генерацией с дополненной выборкой (RAG), вы также можете позволить ей отвечать на вопросы, основываясь на вашей собственной базе знаний. Она извлекает соответствующие документы и информацию во время обработки запроса без необходимости переобучения модели.

Вы также можете обучать небольшие модели с нуля. В зависимости от метода обучения, вы можете распределять данные или вычисления между несколькими GPU, работающими параллельно. Практические примеры варьируются от распознавания изображений в контроле качества до моделей, которые автоматически сортируют входящие электронные письма.

3D-рендеринг, обработка видео и другие варианты использования

GEX430 также ускоряет 3D-рендеринг. Например, совместимое программное обеспечение для рендеринга может использовать все четыре GPU параллельно для отрисовки разных кадров анимации. С общим объемом видеопамяти 384 ГБ также доступно много места для сложных сцен с детализированными текстурами.

RT-ядра 4-го поколения ускоряют вычисления освещения, теней и отражений непосредственно на аппаратном уровне. Сервер также обеспечивает мощность, необходимую для обработки видео, научных симуляций и анализа данных.

Наша линейка GPU-Line продолжает расти

В этом году мы полностью обновили нашу линейку GPU-Line. Все серверы теперь оснащены современными GPU, и мы удвоили ассортимент до четырех моделей. Это дает вам еще больше возможностей для выбора подходящего сервера под ваши конкретные рабочие нагрузки.

Вы также можете комбинировать разные серверы. Не каждой модели нужно 384 ГБ видеопамяти. Например, небольшие модели эмбеддингов и задачи по распознаванию речи могут работать на GEX45 с 24 ГБ видеопамяти, в то время как GEX430 берет на себя более вычислительно сложные задачи. Это позволяет адаптировать оборудование под конкретные требования ваших приложений.

Ваша рабочая нагрузка ИИ, ваш выбор

Независимо от того, нужно ли вам решение с несколькими GPU или с одним, наша линейка GPU-Line предлагает сервер, который идеально подходит для ваших задач ИИ.

Цифровой суверенитет

Многие компании хотят использовать LLM, не отправляя конфиденциальные данные сторонним провайдерам. С Hetzner вы можете запустить выделенный GPU-сервер под своим полным контролем, на оборудовании, расположенном в ЕС и размещенном немецким провайдером. Ваш конфиденциальный исходный код, данные клиентов и внутренние документы могут оставаться внутри вашей собственной инфраструктуры, если вы правильно настроите свою среду.

Это облегчает выполнение требований по защите данных и комплаенсу. В то же время вы сохраняете контроль над своими моделями, данными и расходами.