Все это уже случалось раньше, и все это повторится снова.
Мы уже решили эту проблему.
«Безвиновные» постмортемы (blameless postmortems) — одно из лучших достижений, которое разработка ПО позаимствовала у авиации, здравоохранения и производства. Основная идея, основанная на работе Сидни Декера о человеческих ошибках, заключается в том, что «человеческая ошибка» никогда не является первопричиной. Это лишь симптом системы, окружающей человека.
Статья Etsy 2012 года о «безвиновных» постмортемах вывела эту практику в мейнстрим инженерии с помощью практического аргумента: «человеческая ошибка — это следствие системных уязвимостей, скрытых глубже». Процесс Correction of Errors в Amazon предписывает задавать вопрос «почему» пять раз, пока «человеческая ошибка» не перестанет быть ответом. В книге Google SRE это сформулировано так: «Вы не можете исправить людей, но вы можете исправить системы и процессы, чтобы лучше поддерживать людей в принятии правильных решений».
Я усвоил это на собственном опыте. Много лет назад, проработав всего несколько месяцев в Facebook, я внес изменения, которые нарушили работу одной из интеграций платежного процессора. К тому времени, как мы все исправили, мой код стоил нам чуть более двух миллионов долларов. Я шел на свой первый разбор инцидента (SEV review), ожидая увольнения. Вместо этого я получил тщательный, «безвиновный» поиск способов сделать систему более устойчивой. Это запомнилось мне гораздо дольше, чем любой выговор, и стало основополагающим принципом того, как мы работаем в HackerOne.
Обвинение человека в ошибке завершает расследование. Отсутствие обвинений — начинает его.
Пять «почему»
Допустим, агент удалил продакшн. Проводите постмортем так же, как для человека:
- Почему был удален продакшн? Агент вызвал API удаления.
- Почему он смог это сделать? У токена, который он использовал, были права на удаление.
- Почему этот токен был доступен? Он находился в несвязанном файле, доступном для чтения из задачи в стейджинге.
- Почему один токен работал в разных средах? Никто не ограничил его область действия средой или операцией.
- Почему восстановление было невозможно? Резервные копии находились в той же зоне поражения, что и данные.
Каждый ответ — это свойство системы, которое можно усилить. Поскольку вы не принимаете «человеческую ошибку» в качестве первопричины, вы не должны принимать и «ошибку агента».
Два вывода
К агентам не предъявляются более высокие требования, чем к людям. Люди галлюцинируют, паникуют, срезают углы, когда устали, и уверенно объясняют свои действия постфактум. Мы не решили эту проблему, обвиняя людей в ошибках. Мы ограничили доступ к rm -rf /, ввели проверку кода двумя людьми и отделили разработку от продакшна. К агентам применяется тот же архитектурный подход.
К ним не предъявляются и более низкие требования. Признание выше звучит как ответственность. Это модель, генерирующая правдоподобное извинение за свое поведение. Хотя законы масштабирования ИИ, несомненно, делают агентов умнее, было бы глупо полагать, что они перестанут совершать ошибки. Поэтому фраза «Извините, это больше не повторится» не работает. Ответственность, которая не приводит к изменению системы, — это антипаттерн, для предотвращения которого и существуют «безвиновные» постмортемы.
Как выглядит редизайн
Классические принципы устойчивой инженерии, примененные к новым технологиям.
Безопасные настройки по умолчанию. Агенты начинают работу в режиме «только чтение», а права на запись — это исключение. Полностью исключите секреты из доступа агента, используя шлюз для внедрения учетных данных в исходящие запросы. Если агенту необходимо иметь секрет, делайте его кратковременным и привязанным к конкретной задаче. Сканируйте секреты, исходя из того, что агент может прочитать все, что можете вы.
Реальное разделение сред. Отдельные учетные записи или проекты для каждой среды. Учетные данные продакшна должны быть недоступны для всего, к чему агент прикасается в разработке или стейджинге. Если задача в стейджинге может найти токен с доступом к продакшну, вы нашли первопричину.
Не лжесвидетельствуй. Агент — ненадежный свидетель собственного поведения, поэтому доказательствами для вашего постмортема являются трассировка вызовов инструментов и журнал аудита, а не его рассказ о том, что произошло. Ваш постмортем должен устранять пробелы в наблюдаемости и аудируемости с одинаковой важностью.
Изолируйте зону поражения. Модель может ошибаться, но ОС — нет. Эфемерные среды, отсутствие постоянных учетных данных, изоляция файловой системы и списки разрешенных исходящих соединений ограничивают то, к чему действие может получить доступ до его запуска.
Тестируйте «песочницу» на проникновение, как это сделал бы злоумышленник. Регулярно заставляйте модель проверять собственную изоляцию и пытаться выбраться из нее. Способные модели находят и используют дыры, в том числе в том, что должно их удерживать, как показали недавние инциденты с оценкой у поставщиков моделей.
Замедляйте воздействие. Ограничения скорости (rate limits) и автоматические выключатели (circuit breakers) для действий с высоким риском. Множество аномальных действий в короткий промежуток времени должны оповещать человека и активировать аварийный выключатель, независимо от того, является ли инициатор скриптом, человеком или агентом.
Сделайте разрушение еще медленнее. Агент, который может и решить удалить, и подтвердить удаление — это один компонент, притворяющийся двумя. Защита от удаления, «мягкое» удаление с окном хранения, типизированное подтверждение и окна отмены для необратимых операций — все это работает, если агент не может выполнить оба действия независимо.
Одобрение на основе рисков. Ставьте людей там, где есть риск. Команда Claude Code от Anthropic масштабирует человеческое одобрение в зависимости от изменений: ноль, один или два человека в зависимости от риска. Уровень устанавливается изменением, а не его автором, и одобрение агента никогда не заменяет человеческое. Все, что касается аутентификации, биллинга, конфигурации CI или путей удаления, всегда требует участия человека.
Не меняйте ошибку агента на ошибку человека. Заманчивый антипаттерн, который я наблюдал: требовать подтверждения от человека на каждое действие агента. Это не контроль, это формальность, ожидающая повторного инцидента.
Относитесь к агентам как к отдельному классу субъектов. Собственные учетные данные, возможность атрибуции в журналах аудита, проверка доступа, как у подрядчика с повышенными привилегиями. Логируйте каждый вызов инструмента. Трассировка понадобится вам в тот день, когда что-то пойдет не так.
Иногда контекст — это первопричина. Человек может легко упустить из виду, насколько важна база данных, потому что она называлась «valinor», а не «prod». У агента та же проблема. Документация важнее, чем когда-либо: устаревшие документы, отсутствующие метки, запутанные инструкции. Относитесь к ошибочному контексту как к багу, потому что это поможет сделать правильное решение более вероятным, но всегда помните, что это не заменяет реальные средства контроля.
Промпты и AGENTS.md — это не средства контроля. «Не совершай ошибок» — хороший мем. «НИКОГДА не запускай деструктивные команды» — то же самое, но другими словами. Средство контроля принудительно применяется вне модели, переходит в безопасное состояние при сбое и работает, даже если модель ошибается или скомпрометирована. Это означает права инструментов, ограниченные учетные данные, правила исходящего трафика, «песочницу».
... И многое другое.
В основе всего этого лежит предположение, которое мы сделали для операторов-людей много лет назад: исполнитель будет совершать ошибки, поэтому итеративно проектируйте систему так, чтобы ошибки были переносимыми.
Это сложно.
Я не думаю, что кто-то полностью разобрался с этим. Агенты недетерминированы, поэтому один и тот же входной сигнал может привести к разным результатам, и ответить на вопрос «что изменилось?» сложнее, чем раньше. Они часто являются и исполнителем, и единственным свидетелем, поэтому трассировки так важны. И я ожидаю, что значительная часть списка выше будет выглядеть устаревшей уже через год.
Но основной принцип остается тем же, которого мы всегда придерживались. Если что-то ломается, продолжайте копать, пока исправление не приведет к изменению системы. Если ваш постмортем заканчивается на «глупом боте», значит, вы еще не закончили.
Мы не винили себя. Поэтому мы не виним наших агентов.
Об авторе
Алекс Райс
Соучредитель, технический директор, директор по информационной безопасности
Алекс Райс — соучредитель, директор по информационной безопасности и технический директор в HackerOne. Алекс отвечает за разработку технологического видения HackerOne, руководство инженерными разработками и консультирование клиентов.












