Azure DevOps — это высоко гибкая цепочка инструментов для разработки и развертывания программного обеспечения. Она тесно интегрируется со многими другими связанными сервисами Azure, а ее функции автоматизации настраиваются практически безгранично.
Matillion ETL — это облачная платформа интеграции данных, которая помогает преобразовывать бизнес за счет предоставления быстрых и масштабируемых аналитических данных. Артефакты DevOps для Matillion ETL представляют собой исходный код и файлы конфигурации, доступ к которым осуществляется через сложный REST API.
Высокая гибкость обеих платформ позволяет интегрировать Matillion ETL с Azure DevOps самыми разными способами. Бывает сложно решить, как лучше поступить! Чтобы помочь с этим, мы представляем пять рекомендаций по Azure DevOps, которые помогут вам максимально эффективно использовать платформу в контексте разработки программного обеспечения Matillion ETL.
Что нужно знать:
- Приложение Matillion ETL состоит из ряда связанных заданий, которые совместно выполняют извлечение, загрузку и интеграцию данных с использованием облачного хранилища данных (CDW).
- Данные конфигурации, которые различаются в разных средах CDW, такие как метаданные управления доступом на основе ролей в виде предоставлений прав и ролей, хранятся в административных скриптах под управлением исходного кода вместе с приложением Matillion.
- Рабочий процесс CI/CD-конвейера инициируется, когда разработчик сохраняет обновления в репозитории исходного кода. Цель автоматизации — развернуть эти изменения в рабочей среде контролируемым и эффективным способом.
Каждая из следующих пяти рекомендаций по Azure DevOps включает практические примеры кода и снимки экрана, взятые из описанного выше сценария. Мы будем использовать GitHub Actions в качестве CI/CD workflow provider. Вы можете загрузить полный YAML-файл конфигурации по ссылкам в конце статьи.
1. Выберите свою методологию
Каждое современное облачное приложение обычно имеет множество компонентов и взаимозависимостей. Это особенно актуально в мире обработки данных с сохранением состояния. Успешное развертывание облачного приложения для обработки данных обычно требует взаимодействия нескольких управляемых сервисов. Автоматизация сборки и развертывания требует платформы DevOps, достаточно сложной для управления всеми взаимозависимостями.
В рассматриваемом здесь сценарии развертывания мы должны заставить все следующие технологические компоненты работать вместе:
- Сама Azure DevOps
- Исполнители заданий, размещенные на GitHub
- Matillion Hub
- ARM-шаблоны
- Группы сетевой безопасности Azure
- Azure IAM
- REST API Matillion ETL
- Облачное хранилище данных
Поэтому жизненно важно следовать методологии проектирования приложений, которая дает наилучшие шансы на успех, и использовать методологию DevOps, способную работать в таком контексте. Широко поддерживаемым примером является приложение «Двенадцать факторов».
Вот снимок экрана первого принципа проектирования приложений по методологии «двенадцати факторов» в действии внутри Azure DevOps. Развернутая служба имеет ровно одну кодовую базу, и она используется для множества развертываний.
Другому принципу «Двенадцати факторов» — «Административные процессы» — следуют путем хранения административных скриптов, упакованных в репозиторий GitHub вместе с приложением Matillion. Это гарантирует, что скрипты будут доступны на этапе развертывания, что означает их использование для автоматической подготовки целевого облачного хранилища данных к приложению Matillion.
2. Обеспечьте безопасность интеграций служб
Давайте поближе познакомимcя с одной из интеграций, упомянутых в предыдущем разделе: REST API Matillion ETL.
Во время каждого развертывания программного обеспечения исполнителям заданий GitHub необходимо взаимодействовать с REST API целевого экземпляра Matillion ETL. В частности, им требуются:
- Учетные данные для аутентификации в Matillion ETL
- Сетевой доступ
Защита учетных данных проста с помощью секретов GitHub Actions. Ниже приведен снимок экрана того, как они выглядят в этом сценарии. METL_SECRET содержит учетные данные для целевого сервера Matillion ETL. Другие показанные секреты — это URL-адрес целевого экземпляра и имя группы, используемое при развертывании.
Настройка сетевого доступа гораздо сложнее. Исполнители GitHub создаются по запросу как недолговечные экземпляры контейнеров. Они существуют в совершенно отдельной виртуальной сети и, как и следовало ожидать, не имеют абсолютно никакого доступа ни к какому ресурсу в вашей учетной записи Azure. Они действительно следуют задокументированным диапазонам IP-адресов, которые вы можете найти в разделе «actions». Но существует слишком много диапазонов, чтобы добавлять их по отдельности в группу сетевой безопасности (NSG).
Решение заключается в применении эффективной автоматизации:
- Найти IP-адрес исполнителя
- Настроить NSG экземпляра Matillion для разрешения необходимого входящего трафика
Один из ранних шагов развертывания в этом примере находит и сохраняет общедоступный IP-адрес экземпляра исполнителя следующим образом:
Интерфейс командной строки Azure предоставляет этот метод для настройки NSG. Но он будет работать только после входа в Azure через CLI. Поэтому для учетных данных входа в Azure требуется еще один секрет GitHub Actions:
Полученный скрипт развертывания использует учетные данные для входа и настройки NSG в два этапа, вот так:
В этом разделе был показан практический пример использования функций платформы DevOps для безопасной и автоматической интеграции различных управляемых служб.
3. Управляйте правами доступа
Управление безопасностью стоит на первом месте среди типичных проблем взаимодействия в DevOps. Поэтому в этом разделе мы подробно рассмотрим управление контролем доступа на основе ролей (RBAC), который исполнители GitHub используют в рассматриваемом сценарии развертывания программного обеспечения Matillion.
В предыдущем разделе мы использовали удостоверение Azure с именем AZURE_CREDENTIALS для получения доступа к обновлению группы сетевой безопасности. В свою очередь, для этого использовался временный RBAC, предоставляемый субъектом-службой в Azure Active Directory.
Вот краткое содержание решения:
- Субъект-служба создается как регистрация приложения на платформе удостоверений Майкрософт
- У него есть пароль приложения, который передается в GitHub в качестве секрета Actions
- Субъекту-службе приложения предоставляются минимальные привилегии, необходимые для выполнения его задачи по обновлению NSG
Регистрация приложений выполняется в консоли Azure в колонке Azure Active Directory. Та, которую мы использовали в этом сценарии, выглядит следующим образом:
Секрет GitHub AZURE_CREDENTIALS Actions представляет собой фрагмент JSON, содержащий subscriptionId, clientId, clientSecret и tenantId, предоставленные Azure. Исполнитель GitHub использует встроенное действие azure/login@v1 для обмена этой информацией аутентификации на маркер доступа Azure CLI.
Единственное назначение роли, которое для этого требуется в Azure, — изменение NSG. Мы использовали роль участника, и после настройки она выглядит следующим образом.
Этот раздел представляет собой краткий практический пример, демонстрирующий, как мы управляли привилегиями Azure, предоставленными процессу CI/CD, гарантируя, что предоставляется только минимально необходимый доступ.
4. Создавайте команды, а не разрозненные структуры
В мире трансформации и интеграции данных мы привыкли к тому, что слово «силос» (изолированная система) подразумевает хранилище данных. Однако в контексте CI/CD силос обычно представляет собой команду, инструмент или процесс.
Вот практический пример этого:
- Команды инженеров по данным говорят о трансформации и интеграции данных. Команды специалистов по обработке данных (Data Science) опираются на это, используя статистические процессы и процессы ИИ/МО, работающие с интегрированными данными.
- ИТ-команды говорят о физической инфраструктуре, и их главная забота в рамках процессов связана с эффективностью и автоматизацией.
- Бизнес-команды говорят об операциях, и их процессы сосредоточены на получении аналитических данных, которые могут помочь продвигать бизнес вперед.
Где же точки соприкосновения?
В данном случае изолированные системы разрушаются с помощью REST API Matillion ETL.
- Команды инженеров по данным используют REST API Matillion ETL для экспорта своей работы в переносимом формате. Будучи частью единой среды Data Science и BI, команды специалистов по обработке данных могут аналогичным образом сохранять свой исходный код и файлы конфигурации вместе с соответствующими заданиями Matillion. Весь взаимосвязанный кодовый каталог затем хранится в едином месте и готов к автоматизированному развертыванию.
- ИТ-команды могут создавать процессы DevOps, которые начинают работу с извлечения артефактов с предыдущего шага. Они автоматически развертываются на соответствующей физической инфраструктуре и запускаются для выполнения своих задач.
- Бизнес-команды получают доступ к новейшей аналитике данных без необходимости вмешиваться в предыдущие действия (и потенциально блокировать их). Они могут продолжить цикл, обращаясь к инженерам по данным и дата-саентистам с запросом на следующий этап.
В этом практическом примере шаги начинаются с экспорта заданий Matillion инженерами по данным, например следующим образом:
Конвейер DevOps использует дополнительные вызовы REST API Matillion для удаления и воссоздания каждого задания в наборе изменений. Ручное вмешательство не требуется. Релевантная часть потока событий от запуска развертывания показана ниже.
Эффективные возможности и практики DevOps играют важную роль в устранении риска образования изолированных систем (силосов) в жизненном цикле приложения. Результатом этого, разумеется, является более быстрое получение аналитических данных для бизнеса.
В этом разделе также показано, как принципы «API First» и «Port Binding» из концепции Twelve-Factor помогают устранить риск возникновения изолированности между командами и процессами.
5. Обеспечение гибкости (Agility)
Одна из главных целей CI/CD — упростить выполнение непрерывной интеграции и развертывания. Чтобы внедрить любую гибкую методологию, вы всегда должны иметь возможность быстро развернуть последний рабочий код в целевой среде. Программное обеспечение для обработки данных создает здесь уникальную сложность, поскольку данные имеют состояние. Пересоздание и перезагрузка всего хранилища данных при каждом незначительном изменении кода нецелесообразны.
Такая ситуация не возникает для приложений без сохранения состояния (stateless), таких как микросервисы. Удалить и воссоздать функцию не составляет труда. Но если вы удалите и воссоздадите таблицу базы данных, все ее данные будут потеряны. Кроме того, любые изменения в логике трансформации и интеграции данных могут означать, что удаленная таблица будет заполнена по-другому.
Хорошим решением для оптимизации конвейеров обработки данных и обеспечения их эффективной работы является их высокая специализация (целевая направленность). В рассматриваемом сценарии развертывания ПО Matillion это означает:
- Инженеры по данным и дата-саентисты фиксируют (commit) только те артефакты, которые они изменили
- Конвейер DevOps запускается для каждого коммита
- В контексте Matillion ETL конвейер DevOps целенаправленно затрагивает только те изменения, которые касаются кодовой базы Matillion ETL
Сбор и фиксация измененных артефактов выполняются с помощью REST API Matillion ETL, как мы видели в предыдущем разделе.
С помощью Azure DevOps вы можете легко настроить запуск конвейера при каждом коммите. Вы выбираете имя события GitHub, которое должно запускать рабочий процесс, задавая элемент «on» в корневой карте. В нашем практическом примере это выглядит так:
REST API компании Matillion генерирует JSON-файлы для описаний заданий. В рамках рабочего процесса не составляет труда изолировать изменения, выгрузив весь репозиторий в исполнитель (runner) и применив запрос метаданных git. Наша реализация делает следующее:
Часть потока событий полного запуска развертывания показана ниже. Она содержит только одно задание Matillion ETL:
Подводя итог, рабочий процесс DevOps определил, что было изменено только одно задание Matillion, поэтому только оно подлежит замене на целевом экземпляре Matillion ETL.
Эта последняя передовая практика направлена на то, чтобы процесс DevOps затрагивал только те аспекты решения, которые были изменены. Такой подход позволяет начать с малого и масштабировать по мере необходимости проекта. Он узкоспециализирован и быстро выполняется. Это жизненно важный фактор для ранней и непрерывной поставки ценного программного обеспечения.
Дальнейшие действия
В этой статье основное внимание уделялось передовым методам управления конвейерами Azure DevOps CI/CD с использованием одного конкретного метода в Matillion ETL. В качестве следующих шагов вы можете рассмотреть возможность использования более сложных функций, таких как:
- Добавление новых развертываний служб Azure, например для интеграции с Azure Queue Storage и соответствующей функциональностью Matillion ETL
- Добавление конвейеров в ваши доски Azure (Azure Boards) в рамках гибкого управления проектами
- Внедрение исследовательской и ручной Testing
- Посещение раздела в документации Azure
Загрузки
Для справки вы можете скачать полный скрипт рабочего процесса GitHub, который мы использовали.
Интегрируйте Matillion ETL с используемыми вами инструментами работы с данными
Чтобы узнать больше о том, как Matillion работает с некоторыми из наиболее часто используемых инструментов работы с данными, включая те, которые ваша команда использует каждый день, запросите демоверсию.
Лучшие практики Azure DevOps: Часто задаваемые вопросы
При работе с конвейерами Azure DevOps лучшие практики включают модулизацию шаблонов конвейеров, реализацию конфигураций для конкретных сред, защиту конфиденциальных данных с помощью групп переменных, обеспечение непрерывного мониторинга и автоматизацию проверки качества. Эти подходы помогают оптимизировать CI/CD и обеспечить масштабируемую, надежную доставку с использованием таких инструментов, как Matillion ETL.
Для оптимизации непрерывной интеграции (CI) в Azure DevOps используйте параллельные задания, кэширование зависимостей, проверку с помощью сборок перед слиянием и легковесные агенты сборки. Эти улучшения CI способствуют более быстрой обратной связи и повышению производительности разработчиков во всем вашем конвейере DevOps.
Лучшие практики DevOps CI/CD включают автоматизацию этапов сборки и развертывания, внедрение контроля версий для инфраструктуры, выполнение частых небольших релизов и раннее внедрение средств безопасности. Сочетание этих принципов с конвейерами Azure DevOps и такими инструментами, как Matillion, помогает ускорить доставку данных и программного обеспечения при одновременном снижении рисков.
Лучшие практики для конвейеров выпуска в Azure DevOps включают использование шлюзов этапов для утверждений, внедрение стратегий отката, применение инфраструктуры как кода и отделение развертывания от выпуска. Эти методы поддерживают стабильные и предсказуемые рабочие процессы поставки, что особенно важно для сред производственного уровня.
7 принципов C (Culture — Культура, Collaboration — Сотрудничество, Continuous Integration — Непрерывная интеграция, Continuous Testing — Непрерывное тестирование, Continuous Delivery — Непрерывная доставка, Continuous Monitoring — Непрерывный мониторинг и Customer-Centric Action — Ориентированные на клиента действия) тесно связаны с лучшими практиками CI/CD в Azure DevOps. Следуя этим принципам, команды могут создавать безопасные, масштабируемые конвейеры, которые поддерживают быстрые итерации и гибкость бизнеса.
Azure DevOps предлагает пять ключевых компонентов, которые поддерживают сквозные рабочие процессы DevOps:
- Azure Repos — контроль версий с помощью Git.
- Azure Pipelines — автоматизация CI/CD.
- Azure Boards — Agile-управление проектами и отслеживание задач.
- Azure Artifacts — управление пакетами для зависимостей.
- Azure Test Plans — инструменты для ручного и исследовательского тестирования.
Эти компоненты обеспечивают интегрированную совместную разработку в командах.
Лучшие практики DevOps включают:
- Непрерывная интеграция и доставка (CI/CD): автоматизация рабочих процессов сборки, тестирования и развертывания.
- Тестирование сдвигом влево: раннее обнаружение проблем путем интеграции тестирования в разработку.
- Мониторинг и петли обратной связи: использование инструментов наблюдаемости для упреждающего решения проблем.
- Сотрудничество и культура: разрушение барьеров между командами разработки и эксплуатации.
Внедрение этих практик на таких платформах, как Azure DevOps, обеспечивает гибкость и стабильность конвейеров доставки.












