Корпоративная разработка кода с поддержкой ИИ на базе AMD, Dell и Spectro Cloud — снижение совокупной стоимости владения (TCO) до 75%
ИИ становится частью повседневной разработки программного обеспечения — от генерации кода и модернизации приложений до автоматизации тестов и проверки запросов на слияние (PR). По мере расширения использования компании сталкиваются с практическим вопросом: как распространить этот прирост производительности на все команды инженеров, одновременно контролируя расходы и защищая конфиденциальный код?
Передовые модели предлагают мощные возможности, но полагаться на них в каждой задаче может сделать затраты труднопрогнозируемыми. Более длинные контекстные окна, повторяющиеся взаимодействия агентов и растущее внедрение увеличивают потребление токенов. Организациям также необходимы четкие правила, регулирующие отправку исходного кода, промптов и другой конфиденциальной информации во внешние службы.
Перенос большего объема инференса локально предлагает путь вперед. Тем не менее, сборка серверов, графических процессоров, ПО для инференса, моделей и средств операционного контроля может быть сложной и трудоемкой задачей.
AMD Instinct Coder 355 объединяет AMD, Dell Technologies и Spectro Cloud для решения всех этих задач с помощью готовой корпоративной платформы для помощи в программировании на базе ИИ. Решение позволяет запускать повседневные рабочие нагрузки по написанию кода локально и разрешает использование передовых служб только тогда, когда это оправдано и соответствует корпоративным политикам данных.
Полная платформа для локального написания кода с помощью ИИ
Решение объединяет серверы Dell PowerEdge®, работающие на базе процессоров AMD EPYC™ и графических процессоров AMD Instinct™ MI355X, а также включает модель GLM 5.3 и программное обеспечение Spectro Cloud PaletteAI Inference Launchpad.
AMD предоставляет вычислительную основу для локального инференса. Dell поставляет инфраструктуру корпоративных серверов и варианты аппаратной поддержки. Spectro Cloud интегрирует развертывание, эксплуатацию и управление, помогая ИТ-командам предоставлять ИИ-помощь в написании кода в качестве внутренней службы.
В совокупности эти возможности обеспечивают готовую инфраструктуру инференса, предоставляя инженерным командам доступ к помощи ИИ и помогая ИТ-отделу сохранять контроль над инфраструктурой, использованием, затратами и данными.
Локальный запуск по умолчанию, использование передовых моделей только при необходимости
Каждый запрос на написание кода не требует передовой модели. Генерация кода, создание тестов, документация и рутинный анализ кода могут быть кандидатами для локального инференса на основе выбранной модели и требований организации к качеству.
PaletteAI Inference Launchpad обеспечивает интеллектуальную маршрутизацию, которая по умолчанию направляет запросы к локальным моделям и разрешает утвержденные передовые службы, когда требования задачи оправдывают это и позволяет ИТ-политика. Команды платформы определяют политики маршрутизации, включая то, какие рабочие нагрузки имеют право покидать локальную среду.
Это дает предприятиям практический способ сбалансировать возможности и стоимость. Команды могут использовать локальные модели для подходящих рабочих нагрузок, сохраняя при этом доступ к передовым возможностям для более сложных задач, если это необходимо. Конфиденциальные рабочие нагрузки могут оставаться локальными в соответствии с корпоративной политикой; запросы, направляемые вовне, отправляют связанный с ними контент в выбранную службу и должны соответствовать требованиям организации по обработке данных.
Упрощение контроля затрат на написание кода с помощью ИИ
Перенос подходящих рабочих нагрузок на локальные мощности снижает зависимость от тарифицируемых внешних API передовых моделей и перенаправляет расходы на инференс в инфраструктуру, которую предприятия могут планировать и контролировать. Расходы на передовые модели можно зарезервировать для запросов, где ожидаемая выгода этого оправдывает.
Учет использования, квоты и операционная прозрачность помогают администраторам понимать спрос и управлять потреблением. Вместо того чтобы рассматривать написание кода с помощью ИИ как неограниченные расходы, предприятия могут управлять им как общей службой с определенной емкостью, политикой доступа и бюджетами.
Экономика зависит от загрузки, выбора модели, характеристик рабочей нагрузки, операционных расходов и доли запросов, направляемых вовне. Оценка этих факторов в сопоставлении с реальным использованием разработчиками помогает организациям определить масштаб платформы и оценить потенциальную экономию.
Защита кода и сохранение свободы выбора
Для рабочих нагрузок, обрабатываемых локально, исходный код, промпты и контекст модели остаются в рамках корпоративной среды. Элементы контроля доступа и политики использования помогают командам регулировать, кто может использовать службу и как она потребляется.
Открытые модели и стандартная интеграция API также дают организациям гибкость по мере развития их потребностей. Команды могут оценивать новые локальные модели, настраивать политики маршрутизации и подключать утвержденные внешние службы, не делая какого-то одного провайдера передовых моделей основным пунктом назначения для каждого запроса.
Разработчики могут подключать поддерживаемые инструменты кодинга к платформе, что позволяет организациям внедрять локальный инференс в привычные рабочие процессы. Совместимость инструментов и доступные функции зависят от проверенной модели, конечной точки и конфигурации клиента.
Масштабирование производительности разработчиков с большим контролем
AMD Instinct Coder 355 предоставляет предприятиям практическую основу для расширения разработки с помощью ИИ с большим контролем над затратами, данными и операциями. Вычислительное ПО и ПО для инференса от AMD, инфраструктура Dell и управление от Spectro Cloud объединяют основные компоненты в единую интегрированную платформу.
Запускайте подходящие рабочие нагрузки локально. Используйте передовые модели, когда того требуют задачи и позволяет политика. Предоставьте разработчикам необходимые им возможности ИИ, сохраняя при этом соответствие инфраструктуры и расходов корпоративным приоритетам.
Обратитесь к своему представителю AMD, Dell Technologies или Spectro Cloud, чтобы обсудить подходящую конфигурацию для ваших команд разработки.
Детали решения
Серверы Dell® PowerEdge® XE9785
- 2 процессора AMD EPYC™ 9575F, 64 ядра, 3,3 ГГц
- 8 графических процессоров AMD Instinct™ MI355X
- 3 ТБ (24 x 128 ГБ) DDR5 RDIMM 6400 ECC
- 2 твердотельных накопителя NVMe PCIe Gen4 V6 M.2 емкостью 960 ГБ с платой контроллера BOSS-N1
- 8 твердотельных накопителей PCIe Gen5 TLC U.2 емкостью 7,68 ТБ
- 2 двухпортовых адаптера Broadcom 57608 200G (однопортовых 400G) QSFP112, полноразмерные PCIe
- 12 блоков питания повышенной эффективности уровня titanium мощностью 3200 Вт с резервированием (конфигурация 6+6)
Spectro Cloud PaletteAI Inference Launchpad
- Управление жизненным циклом ИИ полного стека
- Корпоративное управление в масштабе предприятия
- Интеллектуальная маршрутизация моделей с приоритетом локального запуска, а при необходимости — передовых моделей
- Полная видимость и контроль использования и стоимости ИИ
- Локальные: GLM-5.3
- Передовые: Anthropic Claude, OpenAI GPT, Google Gemini
- Claude Code, Cursor, Visual Studio Code
- Комплексная программная поддержка полного стека от Spectro Cloud
- 3 года обслуживания на месте на следующий рабочий день (NBD) от Supermicro для оборудования
- Поддержка до 85 разработчиков на узел (50 одновременных)
- До 98% производительности передовых моделей по бенчмаркам
