Когда инженер расследует сбой в работе системы, след может вести от оповещения к логу, через несколько сервисов и обратно к ошибке, которая впервые появилась несколько месяцев назад. Идти по этому следу становится сложнее, когда лежащая в его основе телеметрия должна оставаться локальной (on-premises), отдельно от инструментов, которые команда использует для понимания остальной части своей среды.
Для банков, больничных сетей и других организаций со строгими политиками данных место хранения данных для мониторинга (observability) часто не подлежит обсуждению. Хранение в публичном облаке может быть недопустимым, а использование SaaS — просто невозможным.
Чтобы удовлетворить эту потребность, Datadog сертифицировала MinIO AIStor в качестве локальной основы для Datadog Bring Your Own Cloud (BYOC). Datadog предоставляет возможности мониторинга и исследования данных, хранящихся в инфраструктуре под вашим управлением, в то время как MinIO AIStor обеспечивает безопасное локальное объектное хранилище для вашей телеметрии. Вы можете искать эти локальные логи в Datadog, использовать их в дашбордах и мониторах, а также обращаться к ним через Bits AI и Datadog MCP Server.
Как Datadog BYOC и MinIO AIStor работают вместе
Datadog BYOC для логов выполняет индексацию и поиск в вашем кластере Kubernetes, в то время как MinIO AIStor обеспечивает объектное хранилище на ваших собственных серверах. Они взаимодействуют через AIStor’s S3-compatible API, напрямую подключая поисковый движок Datadog BYOC к данным, хранящимся в вашей среде.
Datadog BYOC состоит из Datadog Observability Pipelines (OP) и движка BYOC, где OP обеспечивает уровень приема данных (ingestion). Воркеры OP собирают и обрабатывают логи из ваших приложений и инфраструктуры внутри вашей среды, а затем передают их индексаторам Datadog BYOC. Индексаторы организуют эти логи в файлы с возможностью поиска и записывают их в бакет AIStor. По мере поступления данных фоновое уплотнение (compaction) объединяет мелкие файлы, а метахранилище PostgreSQL отслеживает метаданные индекса, необходимые для их поиска.
Хранение набора данных для поиска в AIStor позволяет хранилищу масштабироваться независимо от вычислительных мощностей, необходимых для его использования. Вы можете наращивать мощности индексации по мере роста объема входящих данных, мощности поиска — по мере того, как инженеры и Bits AI проводят больше расследований, и емкость AIStor — по мере увеличения срока хранения истории. С ростом объема истории технология erasure coding в AIStor обеспечивает избыточность без необходимости создания нескольких полных копий каждого объекта, а прозрачное распределение объектов по уровням (tiering) позволяет лучше сбалансировать производительность. Обе стратегии помогают сделать длительное хранение данных практически осуществимым в рамках вашего бюджета на хранение.
Сохраняйте контроль над доступом к вашим данным
Локально хранимая телеметрия в AIStor служит доказательной базой, на которую опираются инженеры, использующие Datadog и Bits AI в ходе расследований. Независимо от того, ищет ли инженер данные в Log Explorer или использует Bits AI для запроса логов при расследовании сбоя, поисковые компоненты Datadog BYOC выполняют запрос внутри вашей инфраструктуры и извлекают соответствующие данные из AIStor. Поисковые компоненты получают эти запросы через исходящее соединение с TLS-шифрованием, которое они сами инициируют и аутентифицируют с помощью вашего API-ключа Datadog. Это означает, что ваше развертывание может обслуживать поисковые запросы без открытия входящих портов или предоставления публичной конечной точки.
То же самое соединение передает результаты поиска обратно в Datadog. Для поиска в Log Explorer результаты проходят через сервисы Datadog для отображения в вашем браузере без сохранения или кэширования в Datadog. Индексированный набор логов остается в MinIO AIStor на протяжении всего периода хранения. Такой подход с локальным хранением и отсутствием кэширования на стороне сервера позволяет набору данных соответствовать строгим правилам конфиденциальности и резидентности данных.
Помимо разделения хранения и доступа, вы также можете настроить мощные средства управления RBAC в Datadog, чтобы определить, кто может запрашивать ваши данные и что отображается в уведомлениях. Доступ службы поддержки Datadog может быть ограничен так, чтобы требовалось ваше явное письменное согласие, прежде чем сотрудники получат доступ к вашей учетной записи или запросят ваши данные BYOC. Для рабочих процессов оповещения отключение примеров логов и исключение полей логов из шаблонов уведомлений предотвращают передачу содержимого логов в места назначения за пределами кластера BYOC.
Обеспечьте наблюдаемость с помощью данных под вашим контролем
Datadog BYOC предлагает организациям способ развивать систему наблюдаемости (observability) с данными, которые должны оставаться локальными. В настоящее время Datadog BYOC поддерживает логи, а поддержка трассировок и метрик появится в ближайшее время, что позволит вам сформировать целостное представление о ваших системах, сохраняя при этом большую часть базовых данных под вашим контролем.
Начните с сервиса, поиск и устранение неисправностей в котором вызывает у вашей команды затруднения, и вопросов о прошлом поведении сервиса, на которые они хотели бы получить ответы. Свяжитесь с вашей командой по работе с клиентами Datadog, чтобы изучить эту рабочую нагрузку, проанализировать поток данных и предстоящую поддержку телеметрии, а также спланировать развертывание в соответствии с вашими потребностями в хранении и запросах. Вы также можете прочитать документацию Datadog BYOC, чтобы узнать, как работает архитектура.
Если вы новичок в Datadog, начните с 14-дневной бесплатной пробной версии.












