По мере того как ИИ приближается к пользователям, устройствам и данным, сеть должна позволять распределенным вычислениям функционировать как единая бесшовная система.
В последние несколько лет в истории инфраструктуры ИИ доминировали все более крупные кластеры обучения. Массивные объекты, заполненные ускорителями, позволили создавать все более функциональные базовые модели, а такие приложения, как чат-боты, познакомили миллионы людей с генеративным ИИ. Но следующий этап будет выглядеть совсем иначе. По мере эволюции ИИ от обмена данными между человеком и ИИ к агентным системам и, в конечном итоге, к физическому ИИ, спрос сместится от создания моделей к их запуску: повсеместно, непрерывно и в масштабе.
Этот переход сделает инференс центром тяжести инфраструктуры ИИ. Goldman Sachs Research прогнозирует рост обработки токенов с примерно пяти квадриллионов токенов в месяц сегодня до более чем 120 квадриллионов к 2030 году. В то же время отчет McKinsey показывает, что вычислительная мощность инференса вырастет с примерно 35 ГВт в 2026 году до 117 ГВт к 2030 году. Независимо от того, окажутся ли итоговые цифры выше или ниже этих оценок, направление очевидно: рабочие нагрузки инференса ИИ становятся все более многочисленными, распределенными и чувствительными к месту обработки.
Инференс меняет географию вычислений
Обучение и инференс имеют разные географические требования. Обучение может быть сосредоточено в удаленных локациях, где доступны электроэнергия и земля, поскольку работа планируется централизованно и меньше зависит от близости к конечному пользователю. Инференс обслуживает живые приложения. Его производительность, экономика и соответствие нормативным требованиям могут улучшиться, когда вычисления находятся ближе к людям, машинам и источникам данных, которые формируют спрос.
Рассмотрим приложения ИИ, которые обрабатывают тысячи видеопотоков высокой четкости, анализируют крупные медицинские изображения или координируют парки автономных машин. Передача всех этих необработанных данных в удаленное облако может быть дорогостоящей и медленной. Локальная или региональная обработка снижает требования к транспортировке, улучшает скорость отклика и помогает организациям соблюдать правила суверенитета данных, конфиденциальности и отраслевые нормы. Для многих новых приложений близость станет определяющим элементом дизайна сервиса.
Проблема развертывания в мегаполисах
Привнести значительные вычислительные мощности в мегаполисы проще сказать, чем сделать. Новые крупные центры обработки данных требуют дефицитной электроэнергии, подходящей земли, длительного получения разрешений и значительного капитала со сроками разработки от трех до пяти лет. Проекты вблизи населенных пунктов также могут столкнуться с экологической экспертизой и противодействием сообщества. Эти ограничения могут отсрочить момент, когда дорогостоящая инфраструктура ИИ начнет обслуживать клиентов и приносить доход.
Практичной альтернативой является распределение мощностей по множеству небольших площадок. Вместо строительства одного объекта мощностью 100 МВт оператор может разместить кластеры инференса мощностью 1–5 МВт на имеющихся складах, в центральных офисах телекоммуникационных компаний, коммерческих зданиях или других местах с полезной площадью и электропитанием. Такой подход с распределенной инфраструктурой может ускорить развертывание, повторно использовать существующие активы, приблизить вычисления к спросу и распределить риски, минимизируя последствия сбоя на одной площадке.
Но распределение создает новую проблему. Приложения ИИ часто зависят от нескольких агентов, моделей и источников данных, работающих на разных площадках. Одному рабочему процессу может потребоваться извлечь информацию из одного места, вызвать специализированные модели в другом и поддерживать контекст в нескольких кластерах. Без правильной сети совокупность небольших площадок остается именно этим: набором изолированных ресурсов.
Эволюция связности инференса
Именно здесь телекоммуникационные провайдеры могут сыграть определяющую роль. Они уже обладают многими компонентами, необходимыми для распределенного ИИ: физическими площадками, оптоволоконной инфраструктурой, операционным опытом и налаженными связями с предприятиями и потребителями. Возможность заключается в объединении этих активов в специализированные сервисы, которые позволят географически разделенным кластерам инференса работать как единая федеративная среда.
Традиционной связности по принципу «best-effort» будет недостаточно. Распределенный инференс будет генерировать большие потоки промптов, контекста моделей, телеметрии, состояний рабочих нагрузок и кэшированной информации между площадками. Агентные и физические приложения ИИ потребуют предсказуемого времени отклика, в то время как активные сессии должны продолжаться при сбоях и изменениях трафика. Рабочие нагрузки могут динамически перемещаться между предприятиями, неооблаками, гиперскейлерами и сервис-провайдерами, часто пересекая организационные или географические границы.
Связность инференса обеспечивает масштабируемую, эффективную и детерминированную сетевую среду. Она должна обеспечивать высокую отказоустойчивость, безопасность, изоляцию арендаторов и контроль суверенитета. Ей также необходимы открытая программируемость и многодоменная автоматизация, чтобы связность могла адаптироваться по мере перемещения рабочих нагрузок. Подобно тому как облачные платформы абстрагировали пулы вычислительных ресурсов, связность инференса должна абстрагировать сетевое расстояние и операционную сложность, не скрывая при этом производительность или риски от клиента.
Связность инференса включает в себя следующие аспекты:
Связность между распределенными кластерами инференса; Связность для совместного использования распределенного кластера инференса с другими сервис-провайдерами; Связность распределенных кластеров инференса с конечными пользователями (фиксированная и мобильная)
- Связность между распределенными кластерами инференса
Связность между распределенными кластерами инференса
- Связность для совместного использования распределенного кластера инференса с другими сервис-провайдерами
Связность для совместного использования распределенного кластера инференса с другими сервис-провайдерами
- Связность распределенных кластеров инференса с конечными пользователями (фиксированная и мобильная)
Связность распределенных кластеров инференса с конечными пользователями (фиксированная и мобильная)
Возможности экосистемы
Ни одна компания не сможет реализовать эту модель в одиночку. Телекоммуникационные провайдеры могут предоставить площадки, связность и управляемые услуги. Поставщики ИИ и облачных решений могут определить поведение рабочих нагрузок и требования к обслуживанию. Поставщики сетевых технологий могут предоставить возможности маршрутизации, оптические системы, средства безопасности, контроля качества и автоматизации, которые заставят систему работать в масштабе. Самые сильные коммерческие модели будут достаточно открытыми для поддержки нескольких облаков и провайдеров и в то же время достаточно последовательными для обеспечения измеримых результатов на уровне обслуживания.
По мере того как инференс становится все более распределенным, сетевые возможности, которые раньше рассматривались как вспомогательная инфраструктура, становятся частью самого сервиса ИИ. Надежность, задержка, безопасность и программируемость будут напрямую определять качество и экономику приложений.
Как Nokia может помочь в создании распределенной сети ИИ
Nokia привносит широкий набор возможностей в этот переход. Высокопроизводительная IP-маршрутизация позволяет соединять кластеры ИИ через городские и глобальные сети. Оптическая передача данных и когерентные подключаемые оптические модули обеспечивают высокоскоростные каналы связи между площадками. Технологии безопасности, включая шифрование и защиту от DDoS-атак, позволяют защитить инфраструктуру и данные. Сквозная автоматизация и обеспечение качества предоставляют прозрачность и операционный контроль, необходимые для поддержки требовательных сервисов ИИ.
Не менее важно, что распределенный инференс зависит от безопасной сегментации между клиентами, облаками и доменами. Такие технологии, как MPLS, Segment Routing, SRv6, EVPN, VPN-сервисы и сетевой слайсинг, создают основу для изоляции рабочих нагрузок, обеспечения соблюдения политик и многопользовательского режима. В сочетании с открытыми архитектурами они помогают превратить разрозненные вычислительные площадки в единую платформу, охватывающую региональные, городские и периферийные узлы.
«Фабрики ИИ» создают интеллект, сети его доставляют
ИИ переходит от обучения моделей к поддержке широкого спектра агентных и физических приложений. Будущее, подкрепленное вычислительными ресурсами для инференса, будет высокораспределенным и связанным с помощью передовых сетевых решений. Эти решения сделают распределенные кластеры достаточно предсказуемыми, отказоустойчивыми и безопасными для критически важных производственных нагрузок. Они позволят управлять множеством распределенных кластеров как единой федеративной системой.
Будущее ИИ потребует сети, которая представляет собой нечто большее, чем просто возможность подключения. Это будет доверенная платформа, являющаяся неотъемлемой частью координации распределенных вычислений и поддержки приложений ИИ с предсказуемой производительностью и передовыми средствами безопасности.
Узнайте, как сетевое подключение для инференса превращает распределенные кластеры ИИ в единую платформу
