Основные выводы
- TorchNeuron от Amazon запускает существующий код PyTorch на Trainium без переписывания.
- TorchNeuron будет выпущен с открытым исходным кодом на конференции PyTorch Conference 20 октября.
- Стартапы и предприятия в сферах робототехники, видео, моделей мира, беспилотных автомобилей, речи, поиска лекарств, больших языковых моделей (LLM) и финансов уже создают решения на его основе.
Сегодня 85% исследователей и разработчиков в сфере ИИ пишут свой код на PyTorch. До сих пор оборудование, на котором этот код мог запускаться, было гораздо более ограниченным, чем сам код, а переход на новые чипы означал переписывание и повторную проверку работы, на доведение которой до совершенства уходили месяцы.
Теперь Amazon устраняет этот разрыв. С помощью TorchNeuron, код PyTorch, который разработчики уже пишут, запускается нативно на чипах AWS Trainium от Amazon, с одним изменением конфигурации и без переписывания. TorchNeuron будет выпущен по лицензии с открытым исходным кодом на конференции PyTorch Conference North America 20 октября.
Что на самом деле означает «никаких изменений в коде»?
Представьте свой ИИ-код как автомобиль, который вы годами дорабатывали. Двигатель, подвеска — каждая деталь работает в унисон. Появляется новый, более доступный двигатель с серьезной мощностью, но его установка означала бы разборку автомобиля и сборку по частям. TorchNeuron позволяет заменить двигатель, не разбирая автомобиль.
В ходе демонстрации «в реальном времени» инженеры Amazon запускли один и тот же скрипт обучения ИИ на обычном чипе и на Trainium. Единственным отличием была настройка, которая указывала коду, какой чип использовать. Результаты показали, что модель ИИ обучалась тому же самому с той же скоростью.
Для разработчиков это имеет большое значение. В PyTorch уже есть встроенный способ регистрации нового оборудования. TorchNeuron подключается к этому стандартному механизму, что означает: инструменты, которые разработчики уже используют для тестирования, отладки и масштабирования своих моделей ИИ, работают на Trainium без модификаций.
Почему TorchNeuron важен для разработчиков и индустрии
Реальная стоимость ИИ выходит за рамки цены чипа. Для многих компаний, особенно стартапов, самая дорогая статья расходов — это время инженеров. Каждая неделя, которую разработчик тратит на адаптацию ПО под новое оборудование, — это неделя, не потраченная на улучшение продукта. Для небольших команд с ограниченными ресурсами этот компромисс может определить, добьется ли компания успеха или потерпит неудачу.
И дело не только в стартапах. Для крупных предприятий, управляющих масштабными парками ИИ, возможность использовать одно и то же оборудование как для обучения, так и для инференса, кардинально меняет правила игры. В часы наименьшей нагрузки мощности, обслуживавшие рабочие нагрузки инференса, могут плавно переключаться на задачи обучения, извлекая больше пользы из того же оборудования вместо того, чтобы оставлять специализированные чипы простаивать.
Снижая сложность внедрения нового оборудования, TorchNeuron предлагает то, чего в индустрии ИИ в значительной степени не хватало: осмысленный выбор. Когда разработчики могут переходить между чипами без потерь, производители чипов должны бороться за бизнес разработчиков, а разработчики получают выгоду в виде более низких затрат и более быстрой итерации.
От голосового ИИ до поиска лекарств: кто уже строит на TorchNeuron
Первые пользователи TorchNeuron охватывают широкий спектр приложений ИИ. От голосовой связи в реальном времени до молекулярного дизайна — у них есть общая черта: они перешли на Trainium, не переписывая свой код.
Cartesia создает интеллект, который учится у мира и взаимодействует с ним так же, как люди, начиная с разговоров. Благодаря нативной поддержке PyTorch на Trainium, Cartesia запустила свой стандартный конвейер инференса с минимальными изменениями в коде PyTorch. Приложения находят применение и в здравоохранении. Институт исследований мозга имени Либера (Lieber Institute for Brain Development), крупнейший научно-исследовательский институт, занимающийся разработкой новых медицинских вмешательств при крупных нервно-психических расстройствах, таких как шизофрения, использует биологические, химические и языковые ИИ-модели для поиска и разработки лекарств. Симуляции молекулярной динамики мощны, но чрезвычайно дороги с точки зрения вычислений, и новое поколение инструментов ИИ предлагает потенциал для их ускорения или замены. TorchNeuron позволяет Институту Либера изучать эти стратегии на Trainium, начиная с первоначального исследования моделей и заканчивая оптимизацией производительности для устранения узких мест.
Открытие экосистемы чипов
Подход Amazon выходит за рамки собственного оборудования. Компания вносит изменения в сам PyTorch, работая с сообществом PyTorch над удалением кода, привязывающего фреймворк к конкретным чипам. Цель состоит в том, чтобы сделать PyTorch более независимым от оборудования для всего сообщества разработчиков, а не только для пользователей Trainium.
Для поддержания качества Amazon тестирует TorchNeuron на сотнях тысяч моделей ИИ при каждой сборке, поэтому проблемы выявляются до запуска любой рабочей нагрузки клиента.
Hugging Face добавила нативную поддержку Trainium непосредственно в свои популярные инструменты разработки ИИ, позволяя разработчикам работать на Trainium нативно без необходимости использования какого-либо специфичного для Amazon кода.
TorchNeuron интегрируется с TorchTitan, собственным фреймворком распределенного обучения PyTorch, предоставляя разработчикам стандартный путь для масштабирования обучения моделей на инстансах Trainium с использованием Fully Sharded Data Parallelism (FSDP) — тех же инструментов и шаблонов, которые они используют на любом другом устройстве PyTorch.
Для разработчиков, которые хотят углубиться, TorchNeuron предлагает инструменты для масштабирования обучения на нескольких чипах и написания пользовательского низкоуровневого кода для максимальной производительности. Amazon также внесла значительный вклад с открытым исходным кодом в vLLM, популярный инструмент с открытым исходным кодом для ускорения инференса, и открыла свой полный набор ядер производительности, предоставив разработчикам отправную точку при создании собственных.
Что дальше
TorchNeuron поддерживает Trainium2 и Trainium3. Он будет выпущен с открытым исходным кодом под лицензией Apache 2.0 на PyTorch Conference North America 20 октября.
TorchNeuron — это последняя глава в десятилетних инвестициях Amazon в заказные процессоры. С момента приобретения компании по разработке чипов Annapurna Labs в 2015 году Amazon создала четыре семейства чипов с нуля, каждое из которых предназначено для определенной облачной рабочей нагрузки. С помощью TorchNeuron компания теперь делает это оборудование доступным для любого разработчика, который пишет на PyTorch.
