23 сентября я принял участие в панельной дискуссии на мероприятии The Information под названием AI Agenda Live в Сан-Франциско вместе со Стефани Коэн, директором по стратегии Cloudflare, и Оуэном Дженнингсом, руководителем бизнес-направления Block.
Мероприятие объединило лидеров из OpenAI, Google DeepMind, NVIDIA, Atlassian и EY, чтобы обсудить, где именно ИИ набирает обороты внутри компаний. На нашей панели каждый из нас рассказал о том, как его компания перестроилась вокруг ИИ-агентов, и все мы пришли к выводу, что ИИ работает лучше всего, когда вы пересматриваете роли, процессы принятия решений и обучение с учетом его возможностей.
В Klaviyo эта перестройка началась с того, как мы обучали наших собственных инженеров.
4 уровня автономности ИИ для инженерных команд
Для нас самой сложной проблемой стало то, что сама суть инженерного дела изменилась прямо под ногами у людей, которые потратили десятилетие на то, чтобы стать мастерами в его старой версии. Мы предложили нашей инженерной команде структуру, позаимствованную из того, как в индустрии говорят о беспилотных автомобилях:
- Уровень 1: ИИ берет на себя шаблонный код и автодополнение.
- Уровень 2: Инженеры делегируют целые отдельные задачи.
- Уровень 3: Инженеры заранее определяют цель, ограничения и контекст, позволяя ИИ-агенту написать реализацию, но сохраняя полную ответственность за то, что выпускается в продакшн.
- Уровень 4: Инженеры управляют агентами при работе над крупными кросс-системными сборками. Мы еще не видели, чтобы кто-то делал это надежно, поскольку для этого требуются более совершенные инструменты тестирования, наблюдаемости и самокоррекции, чем существуют сегодня.
Level 3 is our baseline по всей Klaviyo сегодня. По состоянию на конец июля 2026 года 85% нашего кода было создано с помощью ИИ. На 3-м уровне инженеры тратят свое время на определение проблемы, установку «защитных барьеров» и оценку того, является ли полученный результат правильным. Эндрю Бялецки, генеральный директор Klaviyo, подробно обсуждает этот сдвиг в своем недавнем интервью для SaaStr.
Тот же сдвиг в суждениях изменил и то, как мы оцениваем таланты. Инженеры, проходящие собеседование в Klaviyo, теперь показывают нам, как они будут работать с ИИ-агентами, когда присоединятся к команде. Это также изменило наше отношение к младшим инженерам.
На нашей панели не раз звучало, что они по-прежнему приносят пользу, даже несмотря на то, что ИИ может генерировать так много кода. Младшие инженеры часто являются «цифровыми аборигенами» в сфере ИИ, поэтому они начинают работать на 3-м уровне с первого дня. Старшие инженеры тоже быстро осваивают эти инструменты, и благодаря своему опыту проектирования крупных систем и разбиения работы на правильные части они могут очень быстро стать высокопродуктивными.
Команды работают эффективно, когда сочетают оба подхода, объединяя свежую беглость владения агентами с глубоким суждением при определении объема и проверке работы.
Как Klaviyo измеряет влияние ИИ
Все участники панели отметили рост скорости разработки, включая количество пулл-реквестов и выпуск функций. Но ускорение выпуска помогает только в том случае, если функция вообще стоила того, чтобы ее создавать.
Мы отслеживаем 4 показателя: сколько мы выпускаем, сколько времени требуется для того, чтобы изменения дошли до клиентов, качество того, что выпускается, и сколько часов мы экономим в командах, которые поддерживаем. Четвертый показатель основан на близости к процессам. Когда инженеры проводят время рядом с командами, которые они поддерживают, они находят трения, которые не фиксирует ни один тикет, например, часы, потерянные на ручной поиск информации перед звонками клиентам. Решение этих проблем с помощью ИИ сэкономило десятки тысяч часов по всей организации.
Вот почему мы приближаем инженеров к клиентам. В растущей компании требования часто проходят через множество уровней людей, прежде чем дойдут до инженера, поэтому кто-то в итоге берется за работу, не понимая, почему она важна. Любой инженер должен уметь объяснить своими словами, почему то, что он создает, стоит его времени и какую «боль» клиента это решает.
Больше созидания, больше созидателей
В Klaviyo созданием продуктов занимается все больше людей и больше агентов. Наш автономный агент по написанию кода самостоятельно открывает исправления для ошибок в продакшене, а инженеры решают, что именно объединять (мерджить). Мы также создали K:Forge, внутреннюю платформу на Vercel, и открыли ее для всех сотрудников. Некоторые идеи запускаются менее чем за 3 минуты, и за первые две недели we shipped 356 apps 196 из них были реализованы как full-stack решения с собственными базами данных.
Когда код пишется так быстро, дефицитным навыком становится понимание того, какую проблему клиента стоит решать. Инженеры учатся этому, находясь рядом с клиентами и командами, которые их поддерживают. Если вы перестраиваете свою инженерную команду, начните именно с этого.
