Каждый технологический лидер сталкивается с корпоративным парадоксом ИИ: по мере ускорения внедрения ИИ организации сталкиваются с внешними ограничениями по мощности, стоимости и безопасности. ИТ-подразделение Cisco доказало, что инфраструктура является главным рычагом управления.
Читайте дальше и посмотрите короткое видео ниже или послушайте полную запись подкаста, чтобы узнать, как мы создали полностековую многопользовательскую фабрику ИИ, утроив загрузку графических процессоров и обеспечив критически важную надежность для 90 000 сотрудников.
Точка перелома: от проектно-ориентированных сборок до масштаба критически важного предприятия
Как и большинство предприятий, Cisco находится на пути постоянного внедрения ИИ. В начале наша задача была проста: предоставить ИИ-возможности в руки команд, чтобы они могли быстро доказать ценность для конкретных сценариев использования. Мы начали с выделенных инфраструктурных кластеров ИИ под конкретные проекты для отдельных инженерных и продуктовых команд. Этот подход был достаточен для экспериментальных прототипов, но затем мы достигли важнейшей точки перелома по мере того, как ИИ перешел от изолированных проектов к критически важным операциям.
Главным катализатором стал глобальный запуск MyAgent — корпоративного суперагента Cisco, развернутого для всего нашего штата в 90 000 сотрудников. В то же время мы масштабировали выделенные мощности для Cisco IQ, обеспечив хостинг рабочих нагрузок реального времени для тысяч корпоративных клиентов. Cisco IQ предоставляет унифицированные возможности на базе ИИ через службу поддержки Cisco Support и профессиональные услуги Professional Services.
Этот значительный всплеск агентных рабочих процессов потребовал от нас модернизации инфраструктуры для обеспечения высокой производительности, встроенной безопасности и экономического контроля в масштабе предприятия.
Четыре барьера на пути масштабирования ИИ, с которыми столйдется каждый ИТ-директор
По мере масштабирования использования ИИ на уровне всего предприятия мы понимали, что нам необходимо преодолеть четыре критических барьера:
- Незадействованная емкость и низкая загрузка GPU: статические распределения на основе проектов создавали фрагментированные вычислительные разрозненные хранилища. Поскольку GPU были изолированы по сети и местоположению, ресурсы не могли быть объединены в пулы, в результате чего средняя загрузка составляла 10%-15%. Это заставляло команды ждать, пока другие проекты полностью освободят узлы GPU, прежде чем они смогут запустить собственные рабочие нагрузки.
- Непредсказуемые затраты на токены и размещение рабочих нагрузок: опора исключительно на закрытые облачные модели хорошо работала для ранних пилотных проектов, но становилась менее рентабельной по мере масштабирования ИИ на уровне предприятия. Усугубляя эту проблему, отсутствие прозрачности в отношении потребления токенов между командами и инструментами делало прогнозирование расходов и доказательство рентабельности практически невозможным. Исследование Cisco совместно с Omdia показало, что расходы на облако в среднем подскочили на 30% после внедрения ИИ.
- Расширение поверхностей атак на безопасность: масштабирование автономных агентов и многопользовательских рабочих нагрузок привело к появлению новых поверхностей угроз — от промпт-инъекций и потери конфиденциальных данных до сетевых угроз, способных перемещаться в латеральном направлении без обнаружения.
- Пределы тепловыделения и плотности питания: доступность питания является главным ограничивающим фактором. Даже если бы предприятие получило 2000 совершенно новых GPU завтра, традиционные корпоративные дата-центры с воздушным охлаждением достигают термических пределов задолго до того, как смогут запитать такую плотность вычислений.
Хотя лимиты по питанию, дефицит цепей поставок и волатильность цен на облачные услуги являются внешними реалиями, ИТ-подразделение Cisco осознало, что у нас есть важнейший внутренний рычаг контроля: наша инфраструктура.
Объединение вычислений в пулы может снизить объем незадействованных мощностей. Прозрачность затрат на токены в реальном времени, увязанная с бизнес-ценностью, помогает сделать расходы предсказуемыми. Создание безопасности на каждом уровне стека обеспечивает более надежную защиту, чем ее добавление по остаточному принципу. А оптимизация плотности стоек решает проблему ограничений по питанию.
Наша инфраструктура стала ключом к эффективному, безопасному и экономичному масштабированию.
Полностековое решение: как мы построили нашу фабрику ИИ
Чтобы преодолеть эти барьеры и экономично масштабировать ИИ, мы развернули унифицированную, полностековую, многопользовательскую фабрику ИИ в наших глобальных корпоративных центрах обработки данных. Эта архитектура объединяет вычисления, сети, безопасность и наблюдаемость, обеспечивая нам прозрачность и согласованность, необходимые для работы рабочих нагрузок по всему стеку — от кремния до приложений:
- Высокоскоростная объединенная сетевая фабрика: для сокращения незадействованной емкости мы консолидируем ранее фрагментированные бэкенд-сети в единую высокоскоростную пулированную фабрику во всех наших основных дата-центрах. Коммутаторы Cisco на базе Silicon One устраняют узкие места и гарантируют отсутствие задержек из-за потери пакетов GPU. Поскольку чипы Silicon One полностью программируемы, наши сетевые фабрики могут быстро адаптироваться к развивающимся требованиям, стандартам и протоколам ИИ без необходимости дорогостоящей замены оборудования. Теперь многопользовательские рабочие нагрузки динамически и бесшовно распределяются по доступным мощностям в реальном времени, предотвращая простаивание GPU.
- Гетерогенные вычисления: ни одна аппаратная конфигурация не подходит для каждой корпоративной рабочей нагрузки. Мы стандартизировали оборудование Cisco с серверами серии UCS-X, поддерживающими стратегическое сочетание графических процессоров NVIDIA и AMD. Эта гетерогенная архитектура предоставляет нам основу для оценки и сопоставления профилей вычислений с требованиями рабочих нагрузок — оценки экономичного кремния для инференса больших объемов при одновременном определении емкости для интенсивного обучения. Это дает нам гибкость для оптимизации экономики токенов и адаптации к меняющимся поставкам оборудования.
- Охлаждение стоек высокой плотности: для решения проблем с питанием и тепловыделением в рамках имеющейся площади ИТ-подразделение Cisco внедрило теплообменники на задней дверце непосредственно на наши стойки. Это поглощает тепловой выхлоп у источника, резко повышая эффективность охлаждения и удваивая нашу вычислительную плотность до двух полноценных узлов ИИ на шкаф без расширения физической площади.
- Встроенная по умолчанию безопасность ИИ: для обеспечения безопасности, интегрированной на каждом уровне, мы развернули Cisco AI Defense для применения средств защиты времени выполнения, которые проверяют промпты и ответы для предотвращения утечки данных и остановки угроз до того, как они достигнут наших моделей и агентов. Cisco Hypershield обеспечит сегментацию всей фабрики, а с помощью функции Live Protect на наших коммутаторах Nexus мы динамически применяем защиту от уязвимостей в периоды между окнами патчей, защищая нашу инфраструктуру от критических уязвимостей без перезагрузок или вывода производственной инфраструктуры из офлайна.
- Наблюдаемость в реальном времени, токеномика и замкнутый контур маршрутизации: Splunk Observability Cloud служит основным репозиторием метрик и трейсов ИТ-инфраструктуры Cisco в сочетании с Splunk Cloud Platform для аналитики логов и Splunk IT Service Intelligence (ITSI) для управления событиями. Вместе эта унифицированная основа обеспечит глубокую оперативную видимость, быстрое среднее время разрешения инцидентов (MTTR) и позволит реализовать автономную наблюдаемость и операции по замкнутому циклу. В настоящее время мы находимся в процессе расширения этого функционала до наблюдаемости агентов и токеномики, и вскоре поделимся подробностями этого пути.
В совокупности эти возможности помогли ИТ-подразделению Cisco масштабировать ИИ, одновременно улучшая экономические показатели, безопасность и оперативную поддержку нашей инфраструктуры.
Масштабирование ИИ в масштабах предприятия и его влияние
Успех нашей модернизированной инфраструктуры заключается не только в возможности масштабировать ИИ во всей организации; результаты показывают, что эта инфраструктура делает возможным в рамках Cisco.
- Трехкратное увеличение использования GPU: средний показатель использования GPU вырос с 15% до ~50%, а пиковые нагрузки достигают 80%.
- Шестикратное расширение вычислительных мощностей при той же площади ЦОД: мы увеличили нашу активную вычислительную среду с ~250 до более чем 1568 корпоративных GPU менее чем за два года без приобретения новых физических площадей.
- Доказанная эффективность on-premise: установлено, что выполнение 80% инференса в устойчивом состоянии на собственных мощностях обеспечивает максимальную экономическую эффективность. Мы начали с высоконагруженных рабочих задач, таких как наш корпоративный суперагент, чтобы стандартизировать базовый трафик моделей на Cisco UCS.
- Операции корпоративного уровня: уровень операционной поддержки был поднят до высшего корпоративного уровня SLA, гарантируя доступность 99,99%+ как для внешних клиентских платформ (Cisco IQ), так и для 90 000 внутренних сотрудников (MyAgent).
Что впереди: масштабирование для следующего десятилетия ИИ
Трансформация нашей инфраструктуры ИИ — это непрерывный путь и эволюция. Чтобы обеспечить операционную готовность, мы реализуем следующие стратегические изменения:
- Масштабирование для трафика автономных агентов: поскольку прогнозируется, что трафик, генерируемый агентами, будет на 450% выше на одну задачу, чем человеческий трафик, мы переходим к модели AgenticOps. Мы внедряем мониторинг на базе ИИ и глубокую телеметрию стека в каждой точке сети для динамического управления высокой загрузкой сети и более длительными двунаправленными потоками, необходимыми по мере масштабирования MyAgent среди сотрудников.
- Переход от обучения к инференсу: поскольку спрос на инференс опережает обучение на 60%, мы смещаем фокус нашей инфраструктуры на трафик со скоростью программного обеспечения и восходящую пропускную способность. Мы активно развиваем наш стек с помощью: Динамического объединения ресурсов: модернизация планирования заданий для устранения разрозненности и заполнения провалов в использовании фоновыми пакетными заданиями. Автоматизированная эффективность: внедрение автоматического возврата GPU для максимизации окупаемости оборудования. Адаптивная сеть: развертывание мониторинга KPI специально для ИИ и адаптивных архитектур для обеспечения низкого времени задержки для пользователей.
- Динамическое объединение ресурсов: модернизация планирования заданий для устранения разрозненности и заполнения провалов в использовании фоновыми пакетными заданиями.
- Автоматизированная эффективность: внедрение автоматического возврата GPU для максимизации окупаемости оборудования.
- Адаптивная сеть: развертывание мониторинга KPI специально для ИИ и адаптивных архитектур для обеспечения низкого времени задержки для пользователей.
Истинная мера нашего ЦОД для ИИ — это не только то, насколько хорошо он решает сегодняшние бизнес-задачи, но и наличие архитектурной гибкости, экономического контроля и встроенного управления для беспрепятственного масштабирования под любые будущие потребности.
Дополнительные ресурсы:
