Часть 3 нашей серии статей о KubeRay. Этот блог является самостоятельным материалом, поэтому вам не нужно читать предыдущие статьи, чтобы понять суть. Часть 2: «KubeRay в продакшене: лучшие практики» описывает, как команды запускают KubeRay в промышленной среде и как решение Anyscale KubeRay Connect дополняет его.
Платформа Anyscale имеет встроенные средства наблюдаемости для рабочих нагрузок Ray, а KubeRay Connect, представленный в конце второй части, добавляет их в кластеры KubeRay, которыми вы уже управляете. В этом посте рассматривается одна из таких функций, созданная специально для задач обучения: наблюдаемость за загрузкой данных в Ray Train.
Почему простой GPU трудно обнаружить
Обучение моделей требует значительных капиталовложений, поэтому команды разработчиков должны внимательно следить за утилизацией GPU. В масштабах сотен или тысяч GPU даже небольшое замедление приводит к огромным потерям машинного времени.
Чтобы GPU не простаивали, следующая порция данных должна быть готова в тот момент, когда модель завершает обработку текущей. Если это не так, GPU начинают ждать. Это и есть простой GPU (GPU starvation), и он является одной из самых частых причин снижения утилизации. Это также одна из самых незаметных проблем: ничего не падает, оповещения не приходят, а задача просто выполняется чуть медленнее, чем должна.
Команды обычно замечают один из двух симптомов: утилизация GPU колеблется вверх-вниз вместо того, чтобы оставаться стабильной, или обучение занимает больше времени, чем ожидалось. Например, в приведенном ниже запуске активность SM на каждом GPU постоянно растет и падает, вместо того чтобы выйти на плато:
Этот паттерн — типичный признак простоя GPU. Загрузка данных и обучение выполняются параллельно: пока GPU обучается на одном пакете данных, готовится следующий. Когда подготовка пакета занимает больше времени, чем обучение на нем, этап обучения завершается первым, и GPU простаивает до прибытия следующего пакета:
Каждый интервал простоя — это один из спадов на графике утилизации выше. Симптом легко заметить, а вот причину — нет. Пакет может прийти с опозданием по разным причинам: медленный конвейер обработки данных, передача данных по сети с другого узла, тяжелая предобработка на воркере обучения (например, ресурсоемкая функция collate_fn) или копирование данных с хоста на устройство. У каждой причины свой способ решения, поэтому первый шаг — найти, какой этап является «узким местом».
В остальной части этого поста мы рассмотрим инструменты для этого:
- Метрики загрузки данных в open source Ray: как Ray Train и Ray Data замеряют время каждого этапа загрузки данных и как читать графики Grafana, чтобы понять, тормозит ли обучение из-за данных, какой этап за это отвечает и что нужно изменить.
Метрики загрузки данных в open source Ray: как Ray Train и Ray Data замеряют время каждого этапа загрузки данных и как читать графики Grafana, чтобы понять, тормозит ли обучение из-за данных, какой этап за это отвечает и что нужно изменить.
- Наблюдаемость за загрузкой данных в Anyscale: те же графики без необходимости настройки, плюс панель мониторинга загрузки данных в реальном времени в дашборде Ray Train, которая суммирует состояние загрузки для каждого запущенного набора данных. KubeRay Connect добавляет обе эти возможности в кластеры KubeRay, которыми вы управляете самостоятельно.
Наблюдаемость за загрузкой данных в Anyscale: те же графики без необходимости настройки, плюс панель мониторинга загрузки данных в реальном времени в дашборде Ray Train, которая суммирует состояние загрузки для каждого запущенного набора данных. KubeRay Connect добавляет обе эти возможности в кластеры KubeRay, которыми вы управляете самостоятельно.
Метрики загрузки данных в open source Ray
Начиная с версии Ray 2.58, Ray Train и Ray Data записывают время, которое каждый пакет проводит на каждом этапе загрузки, чтобы вы могли видеть, какой этап сдерживает обучение. Если ваш код Ray Train уже считывает данные из Ray Data, изменения в коде не требуются.
Типичная настройка выглядит так. Драйвер определяет Ray Dataset (здесь — Parquet-файлы, считанные из S3) и передает его тренеру. Ray Train предоставляет каждому из восьми воркеров обучения свой шардированный набор данных. Каждый воркер считывает свой шард с помощью iter_torch_batches, который применяет вашу функцию collate_fn и возвращает пакеты по 64 строки в виде тензоров PyTorch:
Именно в этом вызове iter_torch_batches происходит вся загрузка данных. Как и любой другой итератор Ray Data, включая iter_batches, iter_rows и to_tf, он перемещает каждый пакет через тот же конвейер, прежде чем передать его в ваш цикл обучения.
Внутри этого вызова каждый пакет проходит через шесть этапов на пути от конвейера Ray Data к вашему GPU. Любой из них может стать «узким местом»:
Этап
Что измеряется
Production wait
Ожидание, пока вышестоящий конвейер Ray Data подготовит следующий блок
Data transfer
Получение блоков воркером обучения, включая данные из объектного хранилища другого узла
Batching
Нарезка и объединение блоков в пакеты, включая любой локальный буфер перемешивания (shuffle buffer)
Format
Преобразование каждого пакета в требуемый формат, например NumPy или pandas
Collate
Выполнение вашей собственной предобработки каждого пакета на воркере обучения, например токенизация текста или дополнение последовательностей до общей длины, переданное через collate_fn
Finalize
Копирование пакета на GPU (передача с хоста на устройство) в iter_torch_batches
Эти этапы не выполняются один за другим в вашем потоке обучения. Вместо этого пул фоновых потоков запускает их параллельно, чтобы подготовить следующий пакет, пока выполняется ваш шаг обучения. Пока следующий пакет готов до завершения шага обучения, вся эта работа скрыта и не влияет на реальное время выполнения. Когда следующий пакет не готов вовремя, цикл обучения ждет, а GPU простаивает. Это ожидание и есть время, затраченное на загрузку данных. Ray записывает его на каждом воркере обучения вместе со временем, затраченным на каждом этапе.
В open source Ray эти метрики появляются в разделе «Data Ingestion» дашборда Train в Grafana после того, как вы настроите Prometheus и Grafana для своего кластера. Графики отвечают на три вопроса по порядку (показано для запуска, который тормозит из-за ресурсоемкой функции collate_fn):
- Тормозит ли обучение из-за данных? Параметр «Max Exposed Data Loading Time» показывает, сколько времени цикл обучения ждет каждый пакет на самом медленном ранге. Если значение равно нулю, загрузка данных успевает, и настройка конвейера не поможет. Если нет, то это время простоя GPU на каждом шаге.
Тормозит ли обучение из-за данных? Параметр «Max Exposed Data Loading Time» показывает, сколько времени цикл обучения ждет каждый пакет на самом медленном ранге. Если значение равно нулю, загрузка данных успевает, и настройка конвейера не поможет. Если нет, то это время простоя GPU на каждом шаге.
- Какой этап отвечает за задержку? График «Percentage Data Loading Breakdown by Stage» показывает долю времени загрузки данных для каждого этапа, усредненную по всем рангам. Большая доля «production wait» означает, что вышестоящий конвейер Ray Data не может производить данные достаточно быстро. Большая доля на любом другом этапе указывает на проблему в работе самого воркера обучения.
Какой этап отвечает за задержку? График «Percentage Data Loading Breakdown by Stage» показывает долю времени загрузки данных для каждого этапа, усредненную по всем рангам. Большая доля «production wait» означает, что вышестоящий конвейер Ray Data не может производить данные достаточно быстро. Большая доля на любом другом этапе указывает на проблему в работе самого воркера обучения.
- Это касается каждого ранга или только одного? Для каждого этапа предусмотрен собственный график, разбитый по рангам. Если один ранг значительно опережает остальные, он становится «отстающим», а поскольку ранги синхронизируются на каждом шаге, один медленный ранг может замедлить всю операцию.
Это касается каждого ранга или только одного? Для каждого этапа предусмотрен собственный график, разбитый по рангам. Если один ранг значительно опережает остальные, он становится «отстающим», а поскольку ранги синхронизируются на каждом шаге, один медленный ранг может замедлить всю операцию.
Два графика пропускной способности дополняют общую картину. «Пропускная способность приема данных по рангам» (Data Ingest Throughput by Rank) показывает количество строк в секунду, потребляемое каждым рангом, а «Пропускная способность создания данных» (Data Production Throughput) показывает количество строк в секунду, которое конвейер Ray Data передает для обучения. Вместе они демонстрируют установившуюся скорость нормальной работы, поэтому падения и дисбаланс между рангами сразу бросаются в глаза.
Понимание того, какой именно этап является ответственным, делает проблему решаемой, поскольку каждый из них указывает на конкретные аспекты, которые нужно проверить или изменить:
Узкое место
Что попробовать
Ожидание производства
Проверьте панель мониторинга Ray Data на наличие самого медленного оператора в вашем вышестоящем конвейере и настройте его конфигурацию. Вы также можете добавить узлы только с CPU, чтобы Ray Data могла масштабировать предварительную обработку, или кэшировать предварительно обработанный набор данных в памяти с помощью materialize(), если он помещается.
Передача данных
Увеличьте prefetch_batches, чтобы блоки начали передаваться до шага обучения. Более высокие значения позволяют хранить в памяти больше пакетов, поэтому следите за использованием памяти на узлах обучения.
Пакетная обработка
Если вы используете local_shuffle_buffer_size, уменьшите его или выполняйте перемешивание выше по конвейеру, например, с помощью map_batches shuffle или путем перемешивания порядка файлов во время чтения.
Формат
Увеличьте prefetch_batches, чтобы больше пакетов преобразовывалось до шага обучения.
Сборка (Collate)
Перенесите тяжелую предварительную обработку из collate_fn в конвейер Ray Data с помощью map_batches, где она будет масштабироваться по всему кластеру, а не выполняться на рабочем узле обучения. Для более легких задач сборки увеличение prefetch_batches также может помочь за счет подготовки большего количества пакетов до шага обучения.
Один отстающий ранг
Проверьте, что необычного в узле этого ранга. Распространенными причинами являются задачи Ray Data, конкурирующие с рабочим процессом обучения за CPU или память, а также блоки, которые постоянно извлекаются с удаленных узлов. Если задачи Ray Data конкурируют за ресурсы, изолируйте их от узлов обучения, закрепив набор данных за узлами только с CPU с помощью label_selector.
Наблюдаемость приема данных в Anyscale
В Anyscale вы получаете все эти графики Grafana без какой-либо настройки. Anyscale собирает метрики для каждого запуска обучения и отображает графики на панели мониторинга Ray Train, поэтому вам не нужно размещать Prometheus или Grafana.
Помимо графиков Grafana, панель мониторинга Ray Train в Anyscale включает панель приема данных в реальном времени. Вместо того чтобы просматривать десяток графиков, вы получаете единый обзор состояния приема данных во всем кластере. На ускоренной записи ниже показан запуск, который «зависает» на этапе сборки:
Для каждого набора данных Ray Data, который выполняется в данный момент, панель показывает следующее. Метрики для каждого пакета относятся к выбранному вами рангу; на записи показан самый медленный ранг.
- Прогресс приема: насколько далеко продвинулось обучение по набору данных, как количество принятых строк от общего числа.
Прогресс приема: насколько далеко продвинулось обучение по набору данных, как количество принятых строк от общего числа.
- Пропускная способность: количество строк в секунду, создаваемых вышестоящим конвейером данных и принимаемых обучением в целом.
Пропускная способность: количество строк в секунду, создаваемых вышестоящим конвейером данных и принимаемых обучением в целом.
- Задержка загрузки данных: сколько времени цикл обучения ожидает данные для каждого пакета.
Задержка загрузки данных: сколько времени цикл обучения ожидает данные для каждого пакета.
- Время вычислений при обучении: сколько времени занимает шаг обучения для каждого пакета.
Время вычислений при обучении: сколько времени занимает шаг обучения для каждого пакета.
- Цикл пакета: общее время каждого пакета, разделенное между вычислениями обучения и задержкой загрузки.
Цикл пакета: общее время каждого пакета, разделенное между вычислениями обучения и задержкой загрузки.
- Разбивка по этапам: время на пакет для каждого из шести этапов загрузки данных, чтобы узкое место было очевидным. На записи этап сборки занимает почти все время, что прямо указывает на collate_fn.
Разбивка по этапам: время на пакет для каждого из шести этапов загрузки данных, чтобы узкое место было очевидным. На записи этап сборки занимает почти все время, что прямо указывает на collate_fn.
- Ссылка на Grafana: один клик до полных графиков приема данных для получения исторических метрик и более подробной информации.
Ссылка на Grafana: один клик до полных графиков приема данных для получения исторических метрик и более подробной информации.
Все в этом разделе является частью наблюдаемости, встроенной в платформу Anyscale. Если вы запускаете свои собственные кластеры KubeRay, KubeRay Connect добавит эти возможности без необходимости миграции рабочих нагрузок.
Благодаря этим метрикам нестабильное использование GPU становится тем, что можно отследить до конкретного узкого места, а не просто угадывать. Исправьте этот этап, и ваши GPU будут обеспечены данными: использование вырастет и стабилизируется, а тот же запуск завершится быстрее на том же оборудовании.
Чтобы углубиться в тему, ознакомьтесь с этими руководствами в документации Ray:
- Отладка узких мест при загрузке данных охватывает полный процесс анализа и способы исправления для каждого результата.
Отладка узких мест при загрузке данных охватывает полный процесс анализа и способы исправления для каждого результата.
- Как Ray Data итерирует данные? описывает модель потоков, лежащую в основе шести этапов.
Как Ray Data итерирует данные? описывает модель потоков, лежащую в основе шести этапов.
Резюме
Нестабильное использование GPU говорит о том, что что-то идет не так, но не говорит, что именно. Начиная с Ray 2.58, метрики загрузки данных по этапам в Ray Train и Ray Data устраняют этот пробел. Они показывают, является ли загрузка данных причиной замедления обучения и, если да, где находится узкое место, чтобы вы знали, где искать дальше. В open source версии Ray метрики отображаются на панели мониторинга Train в Grafana. В Anyscale вы получаете те же графики без настройки, плюс панель приема данных в реальном времени, которая суммирует все запущенные наборы данных.
Следующие шаги
Голодание GPU — одна из многих проблем, которые затрудняют отладку обучения в продакшене, и команда Ray продолжает внедрять функции наблюдаемости в Ray Train для наиболее распространенных из них. Вот над чем мы работаем дальше:
- Автоматическое обнаружение зависаний и захват трассировки стека. Ray Train будет определять, когда обучение перестает продвигаться, и автоматически захватывать трассировки стека от каждого рабочего процесса, чтобы вы могли видеть, где именно произошла остановка, не воспроизводя зависание.
Автоматическое обнаружение зависаний и захват трассировки стека. Ray Train будет определять, когда обучение перестает продвигаться, и автоматически захватывать трассировки стека от каждого рабочего процесса, чтобы вы могли видеть, где именно произошла остановка, не воспроизводя зависание.
- Мониторинг работоспособности. Более обширный мониторинг состояния обучения, включая проверки работоспособности оборудования, для выявления проблем, которые замедляют или останавливают процессы обучения в продакшене.
Мониторинг работоспособности. Более обширный мониторинг состояния обучения, включая проверки работоспособности оборудования, для выявления проблем, которые замедляют или останавливают процессы обучения в продакшене.
Если вы столкнулись с проблемой при приеме данных, которую эти инструменты не охватывают, или у вас есть идеи о том, что нам следует создать в дальнейшем, создайте issue на GitHub.












