Серия Hoplites · Часть 2 из 3: Как мы это используем
В первой части этой серии мы представили Hoplites — наших облачных агентов. В этом посте мы подробно разберем рабочие процессы, которые уже успешно работают у нас с Hoplites.
Hoplites меняет целые рабочие процессы в Paxos: от проактивной очистки бэклога, которая раньше откладывалась на потом, до межкомандного взаимодействия между отделами комплаенса, операций и инженерии при работе с нашими внутренними инструментами, что помогает нам более эффективно обслуживать клиентов.
От забытых тикетов к объединенным изменениям
Инженеры первыми начали использовать Hoplites. Они не перенесли свои основные рабочие нагрузки на Hoplites (хотя запуск Hoplites до выхода Claude и Codex Remote привел к тому, что некоторые крупные функции были полностью разработаны через Slack на мобильных устройствах); они взяли на себя часто тикетируемую, но забытую работу. Это некритичные, но полезные задачи по «гигиене» кода: очистка флагов функций, удаление неиспользуемых конфигураций, обновление владельцев кода (codeowners), небольшие рефакторинги, исправление мелких багов и обновление наших внутренних инструментов.
Время цикла для пулл-реквестов: человеческих, с поддержкой ИИ и от Hoplites
Hoplites изменил процесс с «тикет → назначение → запуск локального агента → контроль пулл-реквеста» на одно сообщение @Hoplites в Slack — небольшое, но существенное сокращение усилий. Поскольку промпт и агент находятся в Slack, где рецензенты могут проактивно участвовать в обсуждении, инженеры быстро поняли, что время цикла для изменений, предложенных Hoplites, невероятно мало. В результате мы видим, что гораздо больше простых запросов на изменения начинаются и заканчиваются обсуждением с Hoplites, и только сложные запросы оформляются как тикеты.
Открытие внутренних инструментов для не-инженеров
Ранее в этом году рост объемов, продуктов и юрисдикций Paxos заставил нас улучшить наши внутренние инструменты и дашборды. Эти инструменты обслуживают почти все команды в Paxos, но особенно отделы операций, комплаенса и инженерии.
Мы сделали ставку против low-code решений с перетаскиванием элементов: в мире ИИ мы можем получить лучшее от обоих миров — участие не-инженеров в развитии внутренних инструментов при сохранении тщательности, проверок и контроля, которые дают прямые правки кода. Именно здесь Hoplites проявил себя лучше всего.
Hoplites позволяет указывать выделенные профили агентов (по сути, hoplite с заданным системным промптом); если профиль не указан, используется стандартный. Для наших внутренних инструментов у нас есть профиль pax-admin, в который заложены ключевые знания о репозиториях, стеках бэкенда/фронтенда и типичных ошибках при внесении правок в pax-admin. Вот пример взаимодействия:
Сотрудник отдела операций исправляет небольшую проблему с помощью hoplite pax-admin
«Мультиплеерный» ИИ между инженерами и непосредственными пользователями внутренних инструментов привел к буму в их развитии в Paxos, что дало нам более глубокое понимание наших продуктов и лучшие способы обслуживания клиентов. Все это происходит в рамках тех же элементов контроля: пулл-реквесты, созданные агентами, проходят те же требования к рецензированию (два рецензента-человека, как минимум один из которых инженер), непрерывную интеграцию и стандарты безопасности, что и код, написанный инженерами.
Несколько вещей, которые мы узнали в процессе
- Использование выделенного Slack-хендла @pax-admin работает гораздо лучше, чем @Hoplites --agent pax-admin или использование недетерминированной агентской маршрутизации.
Использование выделенного Slack-хендла @pax-admin работает гораздо лучше, чем @Hoplites --agent pax-admin или использование недетерминированной агентской маршрутизации.
- Около 50% разговоров с @pax-admin инициируются не-инженерами; люди, которые ежедневно используют внутренний дашборд, лучше всех знают, что нужно исправить или изменить.
Около 50% разговоров с @pax-admin инициируются не-инженерами; люди, которые ежедневно используют внутренний дашборд, лучше всех знают, что нужно исправить или изменить.
- Владение собственными инструментами позволило нам создать богатые интеграции со Slack, например, «View Preview Deployment», перенаправляющую на «живой» развернутый превью приложения, или функционал «Notify Reviewers» / «Fix All Comments».
Владение собственными инструментами позволило нам создать богатые интеграции со Slack, например, «View Preview Deployment», перенаправляющую на «живой» развернутый превью приложения, или функционал «Notify Reviewers» / «Fix All Comments».
Становясь правой рукой дежурного инженера
Hoplites — это не просто облачный агент для написания кода. Мы предоставили Hoplites доступ к отличному CLI-инструменту pup от Datadog и создали выделенного агента @triage — это было потрясающее решение. Вот он в действии:
Расследование инцидента в процессе с помощью нашего triage hoplite
Один паттерн, который мы заметили на раннем этапе: во время инцидентов многие участники одновременно запускали своих собственных агентов. Это имело свою цену: токены — да, но, что более важно, внимание самих участников. Все занимались контролем локального чата вместо того, чтобы делать то, что мы ожидаем от людей: изучать дашборды, проверять логи и действительно думать. Перенос этого контекста в Slack, за единого агента, активируемого тегом @triage, позволил команде сосредоточиться, зная, что агент следит за проблемой.
Ожидание полного анализа первопричин (RCA) от агента может занять некоторое время. Мы создали «Investigation Leads», которые проактивно собирают ключевые мониторы, логи, подозрительные пути кода и пулл-реквесты в режиме реального времени, позволяя участникам кликать и связывать факты до того, как RCA будет завершен. Затем triage hoplite выдает готовый RCA в виде Datadog Notebook с полным обоснованием и полезными виджетами:
Ответ от triage Hoplite после завершения RCA
Задачи по триажу составляют около 30% от всех запущенных агентов Hoplites, и мы встроили весь жизненный цикл реагирования на инциденты в одного агента, дав ему возможность:
- Оценивать серьезность инцидента в соответствии с нашей матрицей инцидентов
Оценивать серьезность инцидента в соответствии с нашей матрицей инцидентов
- Создавать документы с ретроспективой инцидента (с выделенной командой «Run Retrospective» после завершения RCA или простым @triage retro please)
Создавать документы с ретроспективой инцидента (с выделенной командой «Run Retrospective» после завершения RCA или простым @triage retro please)
- Автоматически подтягивать полный контекст канала при запуске в Slack-канале #incident-*
Автоматически подтягивать полный контекст канала при запуске в Slack-канале #incident-*
Это стало важнейшим инструментом для наших дежурных инженеров, причем некоторые команды даже автоматически вызывают @triage при любом входящем пейджере. Помимо инженерии, отдел операций активно использует его для понимания и расследования различных проблем перед обращением к инженерам. Результат: меньше ручного труда при реагировании на инциденты и более быстрое решение проблем для наших клиентов.
Обеспечение безопасности наших систем, данных и агентов
Волна LLM повысила ставки в обеспечении безопасности наших систем и представила новые векторы атак; Hoplites является одновременно и новым вектором атаки в Paxos, и инструментом, который все чаще используется для того, чтобы мы оставались на шаг впереди.
Hoplites выполняет диалоги на удаленных вычислительных мощностях с полной изоляцией сети и файловой системы, предоставляя минимальный набор привилегий, необходимых для конкретных инструментов (например, Github, Datadog). Чтобы защитить нашу среду и обеспечить строгое соблюдение нормативных требований, мы поддерживаем жесткие границы и элементы контроля во всех рабочих процессах агентов.
- Строгая проверка и CI-гейты: созданные агентом пулл-реквесты подчиняются тем же требованиям к рецензированию, непрерывной интеграции и безопасности, что и код, написанный инженерами, без каких-либо исключений.
Строгая проверка и CI-гейты: созданные агентом пулл-реквесты подчиняются тем же требованиям к рецензированию, непрерывной интеграции и безопасности, что и код, написанный инженерами, без каких-либо исключений.
- Изоляция данных и секретов: агентам явно запрещен доступ к секретам, данным клиентов и персональной информации (PII), что гарантирует отсутствие прав на чтение или запись конфиденциальной информации.
Изоляция данных и секретов: агентам явно запрещен доступ к секретам, данным клиентов и персональной информации (PII), что гарантирует отсутствие прав на чтение или запись конфиденциальной информации.
- Полная аудируемость: каждая беседа, взаимодействие и журнал выполнения сохраняются и доступны для аудита через наш веб-интерфейс, обеспечивая полную прослеживаемость того, кто дал запрос агенту, какой код был изменен и что именно выполнил агент.
Полная аудируемость: каждая беседа, взаимодействие и журнал выполнения сохраняются и доступны для аудита через наш веб-интерфейс, обеспечивая полную прослеживаемость того, кто дал запрос агенту, какой код был изменен и что именно выполнил агент.
Веб-приложение Hoplites, демонстрирующее полную прозрачность аудиторского следа в беседах
Что дальше
Каждый из описанных выше рабочих процессов начинается одинаково: член команды описывает задачу в Slack, агент Hoplite выполняет работу, а человек проверяет то, что будет отправлено. В заключительной части этой серии мы расскажем о том, что изменилось в Paxos: о влиянии на наш бэклог и время цикла, архитектуре «под капотом» и о том, куда мы планируем развивать Hoplites дальше.
Если вам интересны подобные задачи, возможно, вам понравится работать с нами: Карьера в Paxos.