По мере того как инженерные организации внедряют агентов для написания кода с использованием ИИ, таких как OpenAI Codex, в своих командах, одного лишь доступа становится недостаточно для полной картины внедрения. Техническим руководителям необходима наглядность того, как разработчики используют Codex в различных моделях и клиентах, какой объем сгенерированного Codex кода они принимают и находят ли они полезными отзывы, полученные при проверке кода. Сопоставление этих сигналов с результатами разработки программного обеспечения поможет руководителям понять, как разработка с поддержкой ИИ соотносится с эффективностью инженерных процессов.
Интеграция Datadog с OpenAI Codex собирает данные об активности Codex для каждого пользователя из Codex Analytics API и представляет их в виде метрик Datadog. Готовая панель мониторинга OpenAI Codex Overview объединяет данные об использовании, потреблении токенов, активности клиентов, атрибуции кода и проверке кода. Команды также могут отправлять данные о взаимодействии с Codex в AI Impact, где можно сравнить эффективность разработки программного обеспечения между работой с поддержкой ИИ и без нее.
В этой статье мы покажем вам, как:
- Отслеживать внедрение Codex среди пользователей, моделей и клиентов
Отслеживать внедрение Codex среди пользователей, моделей и клиентов
- Измерять вклад Codex в вашу кодовую базу
Измерять вклад Codex в вашу кодовую базу
- Оценивать, как разработчики взаимодействуют с проверками кода от Codex
Оценивать, как разработчики взаимодействуют с проверками кода от Codex
- Связывать внедрение Codex с эффективностью разработки программного обеспечения
Связывать внедрение Codex с эффективностью разработки программного обеспечения
Отслеживать внедрение Codex среди пользователей, моделей и клиентов
Общие показатели использования по всей организации могут свидетельствовать о росте внедрения Codex, но они не показывают, как именно распределяется это внедрение. Например, небольшая группа инженеров может отвечать за значительную долю активности, или разработчики могут активно полагаться на одного клиента Codex, почти не используя другого. Понимание этих различий помогает техническим руководителям определить, где Codex стал частью повседневных рабочих процессов разработки, а где внедрение остается ограниченным.
Панель мониторинга OpenAI Codex Overview предоставляет централизованное представление об активности Codex в рабочих пространствах вашего предприятия. Datadog собирает данные об активности каждого пользователя один раз в день и отслеживает потоки (threads), обращения (turns), потребленные кредиты Codex и токены. Вы можете фильтровать панель мониторинга по рабочему пространству, учетной записи, пользователю, модели или клиенту Codex, чтобы исследовать различия в использовании по всей организации.
Потоки представляют собой диалоги с Codex, которые инициирует инженер, а обращения — это сообщения, отправленные в рамках этих потоков. Таким образом, метрики, такие как openai.codex.usage.threads и openai.codex.usage.turns, предоставляют взаимодополняющие показатели вовлеченности. Панель мониторинга отображает эти метрики во времени и ранжирует пользователей по активности, помогая вам определить, отражают ли изменения в совокупном использовании широкое внедрение или активность, сосредоточенную в небольшой группе инженеров.
Панель мониторинга также отслеживает потребленные кредиты Codex и использование токенов. Кредиты отражают потребление ресурсов Codex, а не денежные суммы. Интеграция не собирает данные о расходах или валюте. Вы можете детализировать потребление токенов по кэшированным входным, некэшированным входным и выходным токенам, чтобы понять, как Codex обрабатывает контекст и генерирует ответы с течением времени.
Представления на уровне моделей показывают, как инженеры используют Codex в различных моделях. Панель мониторинга разбивает использование входных и выходных токенов по моделям и уровням скорости, а также ранжирует модели по общему потреблению токенов. Технические руководители могут использовать эти представления, чтобы определить, на какие модели приходится наибольшая доля использования, и как эти закономерности меняются со временем.
Вы также можете сравнить внедрение между клиентами Codex. Панель мониторинга отслеживает потоки и обращения для таких клиентов, как CLI, настольное приложение, GitHub, веб-интерфейс и интеграции с IDE. Поскольку Codex Analytics API не предоставляет разбивку токенов по клиентам, эти представления сосредоточены на потоках и обращениях. В совокупности эти измерения помогают ответить на вопрос, используют ли инженеры Codex преимущественно из командной строки, настольного приложения или непосредственно в рамках рабочих процессов разработки.
Измерять вклад Codex в вашу кодовую базу
Метрики использования показывают, как часто инженеры взаимодействуют с Codex, но они не указывают, насколько Codex способствует развитию кодовой базы. Инженер может вести множество диалогов с Codex, не используя полученный код, в то время как другой может использовать его для внесения существенных изменений при относительно небольшом количестве взаимодействий.
Интеграция OpenAI Codex собирает данные о добавленных и удаленных строках кода, которые можно отнести к Codex. Панель мониторинга OpenAI Codex Overview отображает эти добавления и удаления во времени, предоставляя вам еще одну меру внедрения, помимо диалогов и потребления токенов. Например, рост числа атрибутированных строк наряду с увеличением количества потоков и обращений может указывать на то, что возросшая вовлеченность также приводит к увеличению присутствия Codex в кодовой базе.
Атрибуция кода полезна при рассмотрении наряду с описанными выше измерениями использования. Если одна команда генерирует много обращений, но относительно мало атрибутированных изменений кода, в то время как другая имеет меньше обращений и значительно больше атрибутированного кода, команды могут использовать Codex для разных типов работы. Технические руководители могут использовать эти сигналы, чтобы понять, как Codex вписывается в различные рабочие процессы разработки, вместо того чтобы полагаться на единый показатель внедрения по всей организации.
Оценивать, как разработчики взаимодействуют с проверками кода от Codex
Генерация кода — это лишь одна часть использования Codex. Codex также может проверять запросы на слияние (pull requests) и анализировать изменения в контексте более крупной кодовой базы. Поскольку инженерные организации расширяют использование проверки с поддержкой ИИ, измерение только количества сгенерированных комментариев не показывает, находят ли разработчики эти отзывы полезными.
Интеграция OpenAI Codex отслеживает завершенные проверки и комментарии к ним по приоритетам: P0, P1 и P2. Она также отслеживает, как разработчики реагируют на эти комментарии с помощью лайков, дизлайков, других реакций и ответов. Панель мониторинга OpenAI Codex Overview объединяет эти сигналы, чтобы вы могли сравнивать объем проверок с вовлеченностью разработчиков во времени.
Эти метрики могут помочь вам оценить, взаимодействуют ли разработчики с отзывами Codex. Например, ответы и лайки могут указывать на то, какие комментарии вызывают взаимодействие со стороны разработчиков, в то время как дизлайки могут указывать на отзывы, которые командам стоит изучить более внимательно. Отслеживание этих реакций во времени дает техническим руководителям количественный контекст, который можно сопоставить с прямыми отзывами разработчиков о проверке кода с поддержкой ИИ.
В Datadog проверка кода — это одна из областей, где Codex продемонстрировал ценность, выходящую за рамки непосредственного сравнения кода (diff). В тематическом исследовании OpenAI об использовании Codex в Datadog инженеры сообщили, что Codex выявлял взаимодействия с модулями вне diff, отсутствие покрытия тестами, связанное со связностью между сервисами, и изменения контрактов API с последующими рисками.
Команда Datadog по развитию AI также протестировала Codex на исторических инцидентах, восстановив пул-реквесты, которые привели к этим инцидентам. Codex выявил более 10 случаев, или примерно 22% от проанализированных инцидентов, когда инженеры, ответственные за них, подтвердили, что обратная связь от инструмента могла бы изменить ситуацию. После этой оценки Datadog более широко развернула Codex, и теперь его регулярно используют более 1000 инженеров Datadog.
Метрики проверки из интеграции дают другим инженерным организациям возможность изучить аналогичные вопросы в рамках собственных рабочих процессов. Вместо того чтобы рассматривать количество сгенерированных комментариев как показатель успеха, команды могут анализировать приоритетность комментариев и реакцию разработчиков, чтобы понять, как воспринимается активность Codex при проверке кода.
Свяжите внедрение Codex с эффективностью доставки программного обеспечения
Данные об использовании, атрибуции кода и метрики проверки показывают, как инженеры внедряют Codex, но техническим руководителям также необходимо понимать, как это внедрение соотносится с эффективностью доставки программного обеспечения. Сама по себе возросшая активность Codex не указывает на то, связана ли разработка с помощью ИИ с более быстрой доставкой или изменениями в надежности.
Данные об использовании Codex поступают в Datadog AI Impact, который измеряет, как ИИ-ассистенты для написания кода влияют на эффективность доставки ПО. AI Impact классифицирует пул-реквесты как созданные с помощью ИИ или без него и сравнивает их показатели, помогая командам оценивать внедрение ИИ и соотносить его с изменениями в результатах доставки.
Для Codex инструмент AI Impact может определять использование ИИ на основе активности пользователя. Когда Codex сообщает, что инженер создал строки кода с помощью инструмента в определенный день, Datadog может классифицировать коммиты, созданные этим инженером в тот день, как созданные с помощью ИИ. Пул-реквест считается созданным с помощью ИИ, если он содержит хотя бы один такой коммит. Эта атрибуция дает командам последовательный способ связать активность Codex с кодом, который проходит через их процесс доставки.
С помощью AI Impact вы можете отслеживать процент пул-реквестов, созданных с помощью ИИ, и сравнивать пропускную способность PR, время цикла PR, частоту сбоев при изменениях и время восстановления между разработкой с использованием ИИ и без него. Например, вы можете изучить, соответствует ли более широкое внедрение Codex изменениям в количестве пул-реквестов, которые объединяют разработчики, или времени, которое требуется этим пул-реквестам для прохождения пути от первого коммита до слияния. Затем вы можете рассмотреть эти сигналы скорости вместе с частотой сбоев при изменениях и временем восстановления, чтобы понять, как разработка с помощью ИИ соотносится с надежностью.
Начните мониторинг OpenAI Codex с помощью Datadog
Интеграция Datadog с OpenAI Codex помогает техническим руководителям оценивать внедрение Codex и связывать разработку с помощью ИИ с вкладом в код, вовлеченностью в проверку и эффективностью доставки программного обеспечения.
Для настройки интеграции организации требуется рабочее пространство ChatGPT Enterprise с включенным Codex. Владелец или администратор рабочего пространства создает ключ администратора для рабочего пространства в консоли OpenAI Admin Console, предоставляет ему доступ на чтение API аналитики Codex, а затем вводит ключ и идентификатор рабочего пространства в плитке интеграции Datadog OpenAI Codex.
Требования к настройке, поддерживаемые метрики, дашборды и инструкции по конфигурации см. в документации по интеграции OpenAI Codex. Вы также можете прочитать о том, как Datadog использует Codex для проверки кода на системном уровне.
Если у вас нет учетной записи Datadog, зарегистрируйтесь для получения 14-дневной бесплатной пробной версии, чтобы начать мониторинг внедрения Codex и его влияния на эффективность доставки программного обеспечения.
