Неожиданное поведение ИИ-агентов должно стать тревожным сигналом для бизнеса, а не поводом для отказа от автономного ИИ
Растущая обеспокоенность по поводу неожиданного поведения ИИ-агентов рискует подтолкнуть компании к неверным выводам об автономном ИИ.
Поскольку все более сложные ИИ-агенты получают возможность рассуждать, принимать решения, взаимодействовать с системами и выполнять задачи с меньшим участием человека, проблема заключается не в том, что ИИ становится слишком автономным, а в том, что организациям необходимо применять гораздо более строгую инженерную дисциплину к этой автономности.
Джо Вольски, технический директор Godel, сказал: «Каждая история о том, как ИИ-агент делает что-то неожиданное, неизбежно поднимает вопрос о том, не даем ли мы ИИ слишком много автономии. Я считаю, что это неверный подход, так как проблема не в самой автономии, а в плохо спроектированной автономии, которая недостаточно надежна».
«ИИ-агенты быстро перестают быть просто умными помощниками. Мы просим их выполнять сложные задачи, принимать решения, взаимодействовать с корпоративными системами и все чаще работать с другими агентами. Как только вы достигаете этого уровня, их нужно проектировать с той же тщательностью, которую мы ожидаем от любой другой критически важной технологии».
Это означает четкие границы того, что агент может и чего не может делать. Тщательное тестирование, наблюдаемость, контролируемый доступ к системам и данным, возможность аудита и механизмы контроля необходимы для остановки или сдерживания неожиданного поведения.
«Простого наличия «человека в контуре» недостаточно. Человеческий контроль остается важным, но он не может компенсировать слабую инженерную проработку. Мы бы не стали развертывать плохо контролируемую корпоративную систему, полагаясь на то, что кто-то будет следить за ней, чтобы ничего не пошло не так. С ИИ должно быть так же», — продолжил Вольски.
«Существует также опасность, что текущие дебаты создают ложный выбор между автономностью ИИ и безопасностью ИИ. Эти понятия не являются противоположностями, и ни одно из них не может быть принесено в жертву другому ни при каких обстоятельствах. Правильное проектирование должно позволить компаниям расширять возможности ИИ, одновременно усиливая контроль над тем, как он их реализует.
«Принцип должен быть прост: чем больше автономии мы даем ИИ, тем выше должен быть инженерный стандарт.
«Бизнесу не следует отказываться от агентного ИИ из-за историй о системах, ведущих себя неожиданно, — они должны учиться на них. 2026 год должен запомниться как год, когда мы начали правильно проектировать ИИ-агентов, если хотим безопасно и успешно реализовать их полный потенциал», — заключил Вольски.
