Расписания автомасштабирования: сокращение задержек холодного старта при прогнозируемом трафике

Кратко (TL;DR)

Расписания автомасштабирования сокращают задержки холодного старта за счет увеличения минимального количества реплик до того, как придет прогнозируемый трафик. Вы можете настроить повторяющееся расписание (например, по утрам в будние дни) или однократное выполнение (например, перед запуском продукта). Настройте до 10 расписаний для каждого окружения через панель управления, CLI или Management API.

Автомасштабирование регулирует количество реплик в соответствии с входящим трафиком. При росте нагрузки новым репликам требуется время, прежде чем они смогут обрабатывать запросы. Это время их холодного старта, которое включает выделение вычислительных ресурсов, запуск обслуживающего ПО и загрузку модели. Запросы, ожидающие во время холодного старта, имеют более длительное время отклика от начала до конца.

Расписания автомасштабирования помогают избежать задержек холодного старта, запуская дополнительные реплики до поступления трафика. Вы можете настроить повторяющееся расписание (например, каждое утро буднего дня) или однократное выполнение (например, перед релизом).

Настройте автомасштабирование под нагрузку

Многие рабочие нагрузки имеют прогнозируемый трафик. Расписания автомасштабирования позволяют изменять настройки автомасштабирования в заданное время, поэтому вам не нужно поддерживать для этого внешний скрипт cron.

• Повторяющиеся пики: увеличивайте минимальное количество реплик в рабочие часы и уменьшайте его ночью. Например, приложение для расшифровки встреч может масштабироваться перед началом встреч и уменьшаться после прохождения пика.

Повторяющиеся пики: увеличивайте минимальное количество реплик в рабочие часы и уменьшайте его ночью. Например, приложение для расшифровки встреч может масштабироваться перед началом встреч и уменьшаться после прохождения пика.

• Запланированные события: запланируйте временное увеличение емкости для запуска продуктов, нагрузочного тестирования или миграции на новое развертывание.

Запланированные события: запланируйте временное увеличение емкости для запуска продуктов, нагрузочного тестирования или миграции на новое развертывание.

Наглядный пример: запуск дополнительных реплик перед ожидаемым всплеском трафика помогает поддерживать стабильное время отклика от начала до конца по мере роста объема запросов.

Как работают расписания автомасштабирования

Каждое расписание задает временное окно, а также минимальное и максимальное количество реплик для этого окна. Минимум определяет наименьшее количество реплик, которые средство автомасштабирования поддерживает запущенными в течение этого окна. Максимум ограничивает общее количество реплик, которые может запустить средство автомасштабирования. Когда ни одно расписание неактивно, окружение использует настройки по умолчанию.

Чтобы настроить расписание:

• Создайте до 10 расписаний для каждого окружения, используя один общий часовой пояс.

Создайте до 10 расписаний для каждого окружения, используя один общий часовой пояс.

• Выберите ежедневное, ежечасное или однократное окно. Окна не должны пересекаться и должны длиться не менее пяти минут.

Выберите ежедневное, ежечасное или однократное окно. Окна не должны пересекаться и должны длиться не менее пяти минут.

• Используйте панель управления, CLI или Management API.

Используйте панель управления, CLI или Management API.

Пример из интерфейса Baseten: два расписания автомасштабирования для рабочей среды.

Начало работы

Запускайте реплики до того, как придет ожидаемый трафик, чтобы сократить задержки холодного старта. Следуйте руководству по настройке расписаний через панель управления, CLI или Management API либо проконсультируйтесь с нашими инженерами для настройки параметров под вашу рабочую нагрузку.