Часть 3 нашей серии статей о KubeRay. Этот блог является самостоятельным материалом, поэтому вам не нужно читать предыдущие статьи, чтобы понять суть. Часть 2: «KubeRay в продакшене: лучшие практики» описывает, как команды запускают KubeRay в промышленной среде и как решение Anyscale KubeRay Connect дополняет его.
Платформа Anyscale имеет встроенные средства наблюдаемости для рабочих нагрузок Ray, а KubeRay Connect, представленный в конце второй части, переносит их в кластеры KubeRay, которыми вы уже управляете. В этом посте рассматривается одна из таких функций, созданная специально для задач обучения: наблюдаемость за загрузкой данных в Ray Train.
Почему простой GPU сложно обнаружить
Обучение моделей требует значительных капиталовложений, поэтому команды разработчиков должны внимательно следить за утилизацией GPU. В масштабах сотен или тысяч GPU даже небольшое замедление приводит к огромным потерям машинного времени.
Чтобы GPU не простаивали, следующая порция данных должна быть готова в тот момент, когда модель закончит обработку текущей. Если это не так, GPU вынуждены ждать. Это и есть простой GPU (GPU starvation), и он является одной из самых распространенных причин снижения утилизации. Это также одна из самых незаметных проблем: ничего не падает, оповещения не приходят, а задача просто выполняется чуть медленнее, чем должна.
Команды обычно замечают один из двух симптомов: утилизация GPU колеблется вверх-вниз вместо того, чтобы оставаться стабильной, или обучение занимает больше времени, чем ожидалось. Например, в приведенном ниже запуске активность SM на каждом GPU постоянно растет и падает, вместо того чтобы выйти на плато:
Такая картина — типичный признак простоя GPU. Загрузка данных и обучение выполняются параллельно: пока GPU обучается на одном батче, готовится следующий. Когда подготовка батча занимает больше времени, чем обучение на нем, этап обучения завершается раньше, и GPU простаивает до прибытия следующего батча:
Каждый интервал простоя — это один из провалов на графике утилизации выше. Симптом легко заметить. Причину — нет. Батч может прийти с опозданием по разным причинам: медленный конвейер данных (upstream data pipeline), передача данных по сети с другого узла, тяжелая предобработка на воркере обучения (например, ресурсоемкая функция collate_fn) или копирование данных с хоста на устройство. У каждой причины свое решение, поэтому первый шаг — найти, какой этап является «узким местом».
В остальной части этого поста мы рассмотрим инструменты для этого:
- Метрики загрузки данных в open-source версии Ray: как Ray Train и Ray Data замеряют время каждого этапа загрузки данных и как читать графики в Grafana, чтобы понять, тормозит ли обучение из-за данных, какой этап за это отвечает и что нужно изменить.
Метрики загрузки данных в open-source версии Ray: как Ray Train и Ray Data замеряют время каждого этапа загрузки данных и как читать графики в Grafana, чтобы понять, тормозит ли обучение из-за данных, какой этап за это отвечает и что нужно изменить.
- Наблюдаемость за загрузкой данных в Anyscale: те же графики без необходимости настройки, плюс панель мониторинга загрузки данных в реальном времени в дашборде Ray Train, которая суммирует состояние загрузки для каждого запущенного набора данных. KubeRay Connect предоставляет обе возможности для кластеров KubeRay, которыми вы управляете самостоятельно.
Наблюдаемость за загрузкой данных в Anyscale: те же графики без необходимости настройки, плюс панель мониторинга загрузки данных в реальном времени в дашборде Ray Train, которая суммирует состояние загрузки для каждого запущенного набора данных. KubeRay Connect предоставляет обе возможности для кластеров KubeRay, которыми вы управляете самостоятельно.
Метрики загрузки данных в open-source версии Ray
Начиная с Ray 2.58, Ray Train и Ray Data записывают, сколько времени каждый батч проводит на каждом этапе загрузки, чтобы вы могли увидеть, какой этап сдерживает обучение. Если ваш код Ray Train уже считывает данные из Ray Data, изменения в коде не требуются.
Типичная настройка выглядит так. Драйвер определяет Ray Dataset (здесь это Parquet-файлы, считанные из S3) и передает его тренеру. Ray Train предоставляет каждому из восьми воркеров обучения свой шардированный набор данных. Каждый воркер считывает свой шард с помощью iter_torch_batches, который применяет вашу функцию collate_fn и возвращает батчи по 64 строки в виде тензоров PyTorch:
Именно в этом вызове iter_torch_batches происходит вся загрузка данных. Как и любой другой итератор Ray Data, включая iter_batches, iter_rows и to_tf, он перемещает каждый батч через один и тот же конвейер, прежде чем передать его в ваш цикл обучения.
Внутри этого вызова каждый батч проходит через шесть этапов на пути от конвейера Ray Data к вашему GPU. Любой из них может стать «узким местом»:
Этап
Что измеряется
Production wait
Ожидание, пока upstream-конвейер Ray Data подготовит следующий блок
Data transfer
Получение блоков воркером обучения, включая данные из объектного хранилища другого узла
Batching
Нарезка и объединение блоков в батчи, включая любой локальный буфер перемешивания (shuffle buffer)
Format
Преобразование каждого батча в требуемый формат, например NumPy или pandas
Collate
Выполнение вашей собственной предобработки для каждого батча на воркере обучения, например токенизация текста или дополнение последовательностей до общей длины, переданное через collate_fn
Finalize
Копирование батча на GPU (передача с хоста на устройство) в iter_torch_batches
Эти этапы не выполняются один за другим в вашем потоке обучения. Вместо этого пул фоновых потоков запускает их параллельно, чтобы подготовить следующий батч, пока выполняется ваш шаг обучения. Пока следующий батч готов до завершения шага обучения, вся эта работа скрыта и не влияет на общее время выполнения. Когда следующий батч не готов вовремя, цикл обучения ждет, а GPU простаивает. Это ожидание и есть открытое время загрузки данных. Ray записывает его на каждом воркере обучения вместе со временем, затраченным на каждом этапе.
В open-source версии Ray эти метрики появляются в разделе Data Ingestion дашборда Train в Grafana, как только вы настроите Prometheus и Grafana для своего кластера. Графики отвечают на три вопроса по порядку (показано для запуска, который тормозит из-за ресурсоемкой функции collate_fn):
- Тормозит ли обучение из-за данных? Показатель «Max Exposed Data Loading Time» показывает, сколько времени цикл обучения ждет каждый батч на самом медленном ранге. Если он равен нулю, загрузка данных успевает, и настройка конвейера не поможет. Если нет, то это время простоя GPU на каждом шаге.
Тормозит ли обучение из-за данных? Показатель «Max Exposed Data Loading Time» показывает, сколько времени цикл обучения ждет каждый батч на самом медленном ранге. Если он равен нулю, загрузка данных успевает, и настройка конвейера не поможет. Если нет, то это время простоя GPU на каждом шаге.
- Какой этап отвечает за задержку? График «Percentage Data Loading Breakdown by Stage» показывает долю каждого этапа во времени загрузки данных, усредненную по всем рангам. Большая доля «production wait» означает, что upstream-конвейер Ray Data не может производить данные достаточно быстро. Большая доля на любом другом этапе указывает на проблему с обработкой на самом воркере обучения.
Какой этап отвечает за задержку? График «Percentage Data Loading Breakdown by Stage» показывает долю каждого этапа во времени загрузки данных, усредненную по всем рангам. Большая доля «production wait» означает, что upstream-конвейер Ray Data не может производить данные достаточно быстро. Большая доля на любом другом этапе указывает на проблему с обработкой на самом воркере обучения.
- Это касается каждого ранга или только одного? Для каждого этапа предусмотрен свой график, разбитый по рангам. Если один ранг значительно опережает остальные, он является «отстающим», а поскольку ранги синхронизируются на каждом шаге, один медленный ранг может замедлить весь процесс выполнения.
Это касается каждого ранга или только одного? Для каждого этапа предусмотрен свой график, разбитый по рангам. Если один ранг значительно опережает остальные, он является «отстающим», а поскольку ранги синхронизируются на каждом шаге, один медленный ранг может замедлить весь процесс выполнения.
Два графика пропускной способности дополняют общую картину. «Пропускная способность приема данных по рангам» (Data Ingest Throughput by Rank) показывает количество строк в секунду, потребляемое каждым рангом, а «Пропускная способность создания данных» (Data Production Throughput) показывает количество строк в секунду, которое конвейер Ray Data передает для обучения. Вместе они демонстрируют установившуюся скорость нормального выполнения, поэтому падения и дисбаланс между рангами сразу становятся заметны.
Понимание того, какой именно этап является ответственным, делает проблему решаемой, поскольку каждый из них указывает на конкретные аспекты, которые нужно проверить или изменить:
Узкое место
Что попробовать
Ожидание создания данных
Проверьте панель мониторинга Ray Data на наличие самого медленного оператора в вашем вышестоящем конвейере и настройте его конфигурацию. Вы также можете добавить узлы только с CPU, чтобы Ray Data могла масштабировать предварительную обработку, или кэшировать предварительно обработанный набор данных в памяти с помощью materialize(), если он помещается.
Передача данных
Увеличьте prefetch_batches, чтобы блоки начали передаваться до шага обучения. Более высокие значения позволяют хранить в памяти больше пакетов, поэтому следите за использованием памяти на узлах обучения.
Пакетная обработка
Если вы используете local_shuffle_buffer_size, уменьшите его или выполняйте перемешивание (shuffle) выше по конвейеру, например, с помощью map_batches shuffle или путем перемешивания порядка файлов во время чтения.
Формат
Увеличьте prefetch_batches, чтобы больше пакетов преобразовывалось до шага обучения.
Сборка (Collate)
Перенесите ресурсоемкую предварительную обработку из collate_fn в конвейер Ray Data с помощью map_batches, где она будет масштабироваться по всему кластеру, а не выполняться на рабочем узле обучения. Для более легких задач сборки увеличение prefetch_batches также может помочь за счет подготовки большего количества пакетов до шага обучения.
Один отстающий ранг
Проверьте, есть ли что-то особенное в узле этого ранга. Распространенными причинами являются задачи Ray Data, конкурирующие с рабочим процессом обучения за CPU или память, а также блоки, которые постоянно извлекаются с удаленных узлов. Если задачи Ray Data конкурируют за ресурсы, изолируйте их от узлов обучения, закрепив набор данных за узлами только с CPU с помощью label_selector.
Наблюдаемость приема данных в Anyscale
В Anyscale вы получаете все эти графики Grafana без какой-либо настройки. Anyscale собирает метрики для каждого запуска обучения и отображает графики на панели мониторинга Ray Train, поэтому вам не нужно разворачивать Prometheus или Grafana.
Помимо графиков Grafana, панель мониторинга Ray Train в Anyscale включает панель приема данных в реальном времени. Вместо того чтобы просматривать десятки графиков, вы получаете единое представление состояния приема данных во всем кластере. Ускоренная запись ниже показывает это на примере запуска, который зависает на этапе сборки:
Для каждого набора данных Ray Data, который выполняется в данный момент, панель показывает следующее. Метрики для каждого пакета относятся к выбранному вами рангу; на записи показан самый медленный ранг.
- Прогресс приема: насколько далеко продвинулось обучение по набору данных, в виде количества принятых строк от общего числа.
Прогресс приема: насколько далеко продвинулось обучение по набору данных, в виде количества принятых строк от общего числа.
- Пропускная способность: количество строк в секунду, создаваемых вышестоящим конвейером данных и принимаемых процессом обучения в целом.
Пропускная способность: количество строк в секунду, создаваемых вышестоящим конвейером данных и принимаемых процессом обучения в целом.
- Задержка загрузки данных: сколько времени цикл обучения ожидает данные для каждого пакета.
Задержка загрузки данных: сколько времени цикл обучения ожидает данные для каждого пакета.
- Время вычислений при обучении: сколько времени занимает шаг обучения для каждого пакета.
Время вычислений при обучении: сколько времени занимает шаг обучения для каждого пакета.
- Цикл пакета: общее время обработки каждого пакета, разделенное на вычисления обучения и задержку ожидания.
Цикл пакета: общее время обработки каждого пакета, разделенное на вычисления обучения и задержку ожидания.
- Разбивка по этапам: время на пакет для каждого из шести этапов загрузки данных, чтобы узкое место стало очевидным. На записи сборка занимает почти все время, что прямо указывает на collate_fn.
Разбивка по этапам: время на пакет для каждого из шести этапов загрузки данных, чтобы узкое место стало очевидным. На записи сборка занимает почти все время, что прямо указывает на collate_fn.
- Ссылка на Grafana: один клик до полных графиков приема данных для получения исторических метрик и более подробной информации.
Ссылка на Grafana: один клик до полных графиков приема данных для получения исторических метрик и более подробной информации.
Все, что описано в этом разделе, является частью системы наблюдаемости, встроенной в платформу Anyscale. Если вы запускаете свои собственные кластеры KubeRay, KubeRay Connect добавит эти возможности без необходимости миграции рабочих нагрузок.
Благодаря этим метрикам нестабильное использование GPU становится тем, что можно отследить до конкретного узкого места, а не просто предполагать причину. Исправьте этот этап, и ваши GPU будут загружены: утилизация вырастет и стабилизируется, а тот же процесс обучения завершится быстрее на том же оборудовании.
Чтобы углубиться в тему, ознакомьтесь с этими руководствами в документации Ray:
- Отладка узких мест при загрузке данных охватывает полный процесс анализа и исправления для каждого результата.
Отладка узких мест при загрузке данных охватывает полный процесс анализа и исправления для каждого результата.
- Как Ray Data итерирует данные? описывает модель потоков, лежащую в основе шести этапов.
Как Ray Data итерирует данные? описывает модель потоков, лежащую в основе шести этапов.
Резюме
Нестабильное использование GPU говорит о том, что что-то не так, но не говорит, что именно. Начиная с Ray 2.58, метрики загрузки данных по этапам в Ray Train и Ray Data устраняют этот пробел. Они показывают, является ли загрузка данных причиной замедления обучения и, если да, где находится узкое место, чтобы вы знали, где искать дальше. В open-source версии Ray метрики отображаются на панели мониторинга Train в Grafana. В Anyscale вы получаете те же графики без настройки, плюс панель приема данных в реальном времени, которая суммирует состояние каждого запущенного набора данных.
Следующие шаги
Нехватка данных для GPU — одна из нескольких проблем, которые затрудняют отладку обучения в продакшене, и команда Ray продолжает внедрять средства наблюдаемости в Ray Train для наиболее распространенных из них. Вот над чем мы работаем сейчас:
- Автоматическое обнаружение зависаний и захват трассировки стека. Ray Train будет определять, когда обучение перестает продвигаться, и автоматически захватывать трассировки стека от каждого рабочего процесса, чтобы вы могли видеть, где именно застрял каждый из них, не воспроизводя зависание.
Автоматическое обнаружение зависаний и захват трассировки стека. Ray Train будет определять, когда обучение перестает продвигаться, и автоматически захватывать трассировки стека от каждого рабочего процесса, чтобы вы могли видеть, где именно застрял каждый из них, не воспроизводя зависание.
- Мониторинг работоспособности. Более обширный мониторинг состояния обучения, включая проверки работоспособности оборудования, для выявления проблем, которые замедляют или останавливают процессы обучения в продакшене.
Мониторинг работоспособности. Более обширный мониторинг состояния обучения, включая проверки работоспособности оборудования, для выявления проблем, которые замедляют или останавливают процессы обучения в продакшене.
Если вы столкнетесь с проблемой загрузки данных, которую эти инструменты не охватывают, или у вас есть идеи о том, что нам следует создать дальше, создайте задачу на GitHub.












