Во время развертывания нового образа Ubuntu с долгосрочной поддержкой (LTS) на наших инстансах Amazon Elastic Compute Cloud (EC2) в Datadog мы обнаружили, что некоторые службы больше не могут получать учетные данные AWS. Изменение в образе неожиданно потребовало использования Instance Metadata Service версии 2 (IMDSv2), а эти службы все еще зависели от IMDSv1. Мы совместно с Ubuntu откатили это изменение, чтобы иметь возможность идентифицировать и обновить эти рабочие нагрузки перед принудительным внедрением IMDSv2 во всем нашем парке.
Если вы готовитесь к обязательному переходу на IMDSv2, поиск таких зависимостей является ключевой частью миграции. Приложения, агенты и скрипты, которые все еще используют IMDSv1, могут потерять доступ к метаданным или учетным данным, необходимым им после того, как вы примените этот параметр. Прежде чем вносить изменения, вам необходимо определить программное обеспечение, выполняющее эти запросы, и проверить, будут ли ваши рабочие нагрузки функционировать при отключенном IMDSv1.
В этой статье мы покажем, как использовать Datadog для выявления вызывающих IMDSv1 процессов, совместной работы с их владельцами над исправлением и тестирования принудительного применения на небольшой группе инстансов. Попутно мы расскажем, как мы прошли через эти этапы во время собственной миграции в Datadog.
Проверьте, какие инстансы все еще разрешают и используют IMDSv1
Злоумышленник, использующий уязвимость подделки запросов на стороне сервера (SSRF), может заставить приложение получить учетные данные для роли AWS Identity and Access Management (IAM) инстанса через службу метаданных. Переход на IMDSv2 помогает предотвратить этот тип кражи учетных данных за счет требования токена сессии, который многие SSRF-атаки не могут получить. Однако легитимное программное обеспечение, которое все еще использует IMDSv1, также теряет доступ, поэтому вам необходимо идентифицировать эти вызывающие процессы перед принудительным внедрением IMDSv2.
Во время нашего развертывания метрики запросов помогли нам найти инстансы, на которых рабочие нагрузки все еще выполняли вызовы IMDSv1. Затем мы отследили эти запросы до отдельных процессов, чтобы определить, какое программное обеспечение нуждается в обновлении.
Понимание метрик IMDSv1 и дальнейшие действия
Вы можете настроить инстансы Amazon EC2 так, чтобы они разрешали обе версии IMDS или требовали IMDSv2, а AWS предоставляет метрики, которые помогут вам увидеть, как рабочие нагрузки реагируют на каждую настройку. При конфигурации HttpTokens=optional инстанс принимает обе версии, а метрика MetadataNoToken подсчитывает успешные запросы IMDSv1. Когда установлено HttpTokens=required, принимается только IMDSv2, а метрика MetadataNoTokenRejected подсчитывает отклоненные запросы IMDSv1.
Вам следует отслеживать каждый инстанс достаточно долго, чтобы отследить закономерности в его запуске, развертываниях, запланированных заданиях и обновлении учетных данных. Скрипт запуска или запланированное задание могут выполнять лишь несколько запросов метаданных, поэтому даже небольшое количество запросов заслуживает внимания. Например, мониторинг в рабочее время может пропустить ночное задание, которое получает учетные данные роли инстанса при запуске.
В следующей таблице обобщено, как мониторинг активности службы метаданных может помочь вам выбрать, какие вызывающие процессы исследовать и какие инстансы тестировать с включенным принудительным применением IMDSv2:
Поиск инстансов EC2, разрешающих IMDSv1
Инструмент Misconfigurations explorer в Datadog Cloud Security помогает найти инстансы, конфигурация которых все еще разрешает IMDSv1. В Misconfigurations explorer вы можете использовать запрос @compliance.evaluation:fail (@rule.name:*IMDS*) для поиска неудачных проверок конфигурации IMDS.
Проверка того, какие инстансы действительно используют IMDSv1
Для инстансов, которые разрешают IMDSv1, вы можете использовать интеграцию Datadog с Amazon EC2, чтобы найти те, которые все еще активно его используют. Например, вы можете отслеживать метрику aws.ec2.metadata_no_token.sum, чтобы найти инстансы, обрабатывающие запросы без токена. Если теги вашего инстанса идентифицируют службу или владельца, группировка метрики по этим тегам может стать отправной точкой для связи с ответственной командой. На следующем примере графика количество запросов IMDSv1 сгруппировано по названию команды:
Для инстансов, которые уже требуют IMDSv2, метрика aws.ec2.metadata_no_token_rejected.sum показывает запросы, которые завершаются ошибкой из-за отсутствия токена. Вы можете сравнить отклоненные запросы с ошибками рабочих нагрузок, чтобы выяснить, нарушает ли сбой доступа к метаданным работу приложения. Например, отклоненные запросы, которые совпадают с запланированным заданием, сообщающим о невозможности получения учетных данных роли инстанса, дают вам вызывающий процесс для расследования.
В дополнение к мониторингу этих метрик вы можете использовать встроенную панель мониторинга IMDSv1 в Cloud Security для дальнейшего расследования причины активности, детализируя использование по хосту, URL, службе и другим параметрам запроса. Если вы уже идентифицировали вызывающий процесс через панель мониторинга, вы можете начать расследование напрямую. По мере обновления программного обеспечения и перехода на обязательный IMDSv2 метрики CloudWatch показывают, продолжают ли инстансы обслуживать запросы IMDSv1 или отклоняют их после принудительного применения. Анализ этих результатов наряду с ошибками приложений и состоянием служб поможет вам определить, не нарушает ли изменение работу рабочих нагрузок.
Независимо от того, успешно ли выполняются запросы или они уже отклоняются, определение базового процесса, который их выполняет, поможет вам понять, что нужно изменить. Во время нашей миграции на IMDSv2 мы использовали MetadataNoToken для идентификации инстансов с активностью IMDSv1. Мы обнаружили, что большинство из них были узлами Kubernetes с тегом «Compute», поэтому теги инстанса не говорили нам, какие контейнеры выполняли запросы или какие команды ими управляли. Мы решили использовать Workload Protection для идентификации отдельных процессов и контейнеров, ответственных за это, чтобы передать результаты нужным владельцам.
Поиск процесса или контейнера, выполняющего запросы IMDSv1
Инстанс с активностью IMDSv1 может запускать несколько приложений, агентов или контейнеров, поэтому отслеживание запросов до ответственного программного обеспечения поможет вам найти решение. На поддерживаемых хостах Linux Workload Protection может перехватывать запросы IMDS путем мониторинга активности процессов и контейнеров. Прежде чем исследовать вызывающие процессы, убедитесь, что Workload Protection и соответствующие правила сбора данных IMDSv1 и обнаружения включены.
Вы можете изучить детали события Agent, чтобы отследить запрос IMDSv1 до программного обеспечения, которое его выполняет. На скриншоте ниже дерево процессов показывает, как /app/cloud-access.sh запускает curl для запроса учетных данных роли инстанса без токена. Путь к скрипту и аргументы команды дают его владельцу конкретное место для поиска кода, который необходимо обновить.
Если вызывающий процесс работает в контейнере, обновления его SDK может быть недостаточно для подготовки к принудительному применению. Контейнер также должен получить ответ с токеном IMDSv2, прежде чем он сможет выполнять запросы с этим токеном. Для контейнеров, предназначенных для доступа к метаданным инстанса, вам следует проверить настройку HttpPutResponseHopLimit инстанса EC2, которая контролирует, сколько сетевых переходов (hops) может совершить ответ с токеном. A value of 1 can prevent it from reaching a container, поэтому сетевой путь может потребовать значения 2. Проверка этого пути поможет вам определить, относится ли исправление к приложению или к конфигурации метаданных инстанса.
Как только вы определили вызывающий объект и вероятную причину использования им IMDSv1, вы можете передать эти сведения инженерам, которые его поддерживают. Когда мы мигрировали наши рабочие нагрузки на IMDSv2, мы использовали внутренний портал разработчиков Datadog, чтобы найти владельцев сервисов, и часто обращались к ним с предложением изменить код или зависимость. Даже когда наше первоначальное исправление требовало доработки, пул-реквест давал владельцу конкретный объект для проверки. Например, если аргументы процесса показывают скрипт, использующий curl для получения метаданных без токена, его владелец может обновить скрипт так, чтобы получать токен IMDSv2 и включать его в последующие запросы. Для вызывающего объекта AWS SDK владелец мог проверить, требуется ли обновление его версии или конфигурации.
Протестируйте принудительное применение IMDSv2, прежде чем распространять его
Исправив найденные вызывающие объекты, вы можете проверить, продолжают ли рабочие нагрузки функционировать при отключенном IMDSv1. AWS recommends confirming that MetadataNoToken has reached zero перед обязательным внедрением IMDSv2, а затем отслеживайте отклоненные вызовы и проблемы с ПО. Начало работы с небольшой группой инстансов дает вам возможность обнаружить оставшиеся зависимости до расширения изменений.
Вы можете установить HttpTokens=required на существующих инстансах или запустить замену с этим параметром. Если вы используете группу Auto Scaling, вы можете обновить ее шаблон запуска и убедиться, что группа использует нужную версию. Это изменение применяется к новым инстансам, поэтому ваш тест должен запускаться на заменяющем инстансе или на существующем инстансе, настройки метаданных которого вы обновили.
Когда мы мигрировали наш парк, мы ограничили первоначальный запуск теми вариантами использования, которые команда нашей платформы хорошо знала и могла быстро устранять неполадки. Мы также заранее протестировали необычные случаи, чтобы выявить потенциальные сбои до расширения принудительного применения. Затем мы применили изменения в рамках нашего существующего процесса обслуживания парка. Обновив конфигурацию наших групп Auto Scaling, мы полагались на регулярную ротацию инстансов, чтобы заменить существующие хосты на те, которые требуют IMDSv2. А когда изменение нужно было внедрить быстрее, мы могли пометить инстансы для более ранней замены.
Предотвратите возврат к IMDSv1 после миграции
После обновления вызывающих объектов и проверки того, что рабочие нагрузки функционируют при обязательном требовании IMDSv2, вы можете совместно с командами безопасности обеспечить соблюдение этого требования во всех мигрированных аккаунтах AWS. Политики управления сервисами (SCP) AWS могут блокировать запуск новых инстансов EC2 с включенным IMDSv1, что помогает предотвратить отмену этой работы будущими развертываниями.
Поскольку эти политики применяются к аккаунтам или организационным единицам, вам следует протестировать их эффект, прежде чем распространять их на другие аккаунты. Наше руководство по миграции Security Labs объясняет, как вы можете использовать SCP как часть вашего плана обеспечения соблюдения требований и предотвращения включения IMDSv1.
Вы также можете ознакомиться с нашей документацией для получения дополнительной информации о том, как Workload Protection может помочь вам идентифицировать инстансы EC2, которые необходимо перенести на IMDSv2.
Если вы хотите начать мониторинг ваших рабочих нагрузок EC2, вы можете зарегистрироваться для получения 14-дневной бесплатной пробной версии.











