По мере того как ИИ проникает в физический мир и начинает принимать все более важные решения, доверие к нему будет зависеть не только от того, что происходит внутри модели, но и от того, что ее окружает.
В дебатах об искусственном интеллекте доминирует тема возможностей. Модели стали крупнее, быстрее и мощнее, берясь за задачи, которые еще несколько лет назад казались недоступными для программного обеспечения.
Но возможности — это лишь часть уравнения. По мере перехода ИИ от экспериментов к реальному внедрению организации сталкиваются с более сложной задачей: как полагаться на системы, результаты работы которых по своей сути вероятностны, когда на кону стоят реальные последствия?
Эта проблема красной нитью проходит через недавнюю беседу в подкасте New Era of Engineering между Даниэлой Рус, директором Лаборатории компьютерных наук и искусственного интеллекта MIT, и Марком Робертсом, главой Capgemini Global AI Futures Lab и техническим директором по прикладным наукам в Capgemini Engineering. Их обсуждение указывает на важный сдвиг: от вопроса о том, способна ли модель выполнить задачу, к вопросу о том, можно ли доверять всей системе в целом.
Это имеет решающее значение, когда ИИ влияет на медицинское решение, управляет транспортным средством или роботом либо поддерживает критически важное бизнес-решение. Компетентность имеет важнейшее значение. Но не менее важны предсказуемость и честность: знает ли система то, что она знает, чего она не знает и насколько она должна быть в себе уверена?
Именно здесь возникает концепция «скромности ИИ». ИИ-система, которая признает свою неопределенность, может казаться менее способной, чем та, которая всегда выдает ответ. На практике она может оказаться более надежной. Если модель осознает пределы своей компетентности, можно передать решение на более высокий уровень, запустить резервный вариант или перенаправить задачу в другое место.
Технологии для этого уже появляются. Например, Themis AI разрабатывает способы выявления неопределенности и ошибок в ИИ-моделях, а также понимания того, какие данные могли бы их улучшить. Тем не менее коммерческий фокус по-прежнему сильно смещен в сторону производительности и возможностей моделей. Инструменты для понимания неопределенности могут развиваться быстрее, чем готовность их использовать.
Этот же сдвиг в мышлении применим и к безопасности. Большие ИИ-модели носят вероятностный характер, поэтому доказать, что каждый возможный результат всегда будет правильным, нереально. Следовательно, обеспечение надежности должно выходить за рамки самой модели.
В ходе совместных исследований MIT и Capgemini изучается один из подходов: размещение математически заданных уровней безопасности вокруг изученных компонентов ИИ. Модель обеспечивает производительность и адаптируемость, в то время как окружающий ее слой контролирует предлагаемые ею действия и удерживает систему в заданных границах.
Это различие имеет принципиальное значение. Многие «защитные барьеры» ИИ по-прежнему встроены в саму модель, фактически полагаясь на то, что система, генерирующая результат, сама контролирует свое поведение. Внешнее обеспечение надежности обеспечивает иной уровень контроля.
Коммерческая авиация предлагает полезную параллель. Люди регулярно садятся в самолеты, которые сильно зависят от программного обеспечения, потому что десятилетия проектирования, тестирования, сертификации, анализа инцидентов и избыточности сформировали уверенность в более широкой системе. Пассажиры не проверяют автопилот и лично не верифицируют пилотов. Они доверяют инфраструктуре регуляторов, инженерных процессов и подотчетных организаций, которые делают это за них. сомнительно
ИИ еще предстоит разработать эквивалентную систему доверия такого же уровня зрелости.
Для организаций это означает отказ от узкого сосредоточения на производительности моделей. Им необходимо определить, как выглядит приемлемое поведение для каждого приложения: требуемая точность, важные пределы, моменты, когда необходимо вмешательство человека, и то, что происходит, когда уверенность падает ниже согласованного порога.
Эти решения также необходимо периодически пересматривать. ИИ-системы меняются, данные, с которыми они сталкиваются, меняются, и среды, в которых они функционируют, меняются. Доверие нельзя рассматривать как разовое одобрение на этапе запуска. Оно должно стать постоянной дисциплиной измерения, мониторинга и подотчетности.
Это становится еще более важным по мере того, как ИИ становится все более распределенным. Будущее будет состоять не только из все более мощных моделей в крупных дата-центрах. Более мелкие, специализированные модели будут работать на устройствах, в транспортных средствах и роботах наряду с более крупными облачными системами. Управление ими в широких масштабах потребует наблюдаемости, контроля версий, контроля доступа и четкой подотчетности.
Более мелкие модели также могут помочь решить саму проблему доверия. В одном из экспериментов MIT, обсуждавшихся в подкасте, жидкая нейронная сеть, вдохновленная нематодой C. elegans, использовала всего 19 нейронов и несколько тысяч параметров для удержания автомобиля в пределах полосы движения. Традиционный подход требовал около полумиллиона параметров. Более компактная система была не просто эффективной. Ее процесс принятия решений было проще анализировать.
Это указывает на более масштабные изменения в том, как измеряется прогресс в области ИИ. Крупные модели по-прежнему будут ценны там, где необходим масштаб. Но во многих приложениях лучшей системой может оказаться та, поведение которой поддается пониманию, неопределенность можно измерить, а работу — ограничить.
Таким образом, для организаций вопрос больше не сводится просто к тому, способен ли ИИ выполнить задачу. Вопрос в том, делает ли окружающая его система эти возможности достаточно надежными для использования.
ИИ уже продемонстрировал, на что он способен. Следующая задача заключается в том, чтобы спроектировать уверенность, необходимую для его использования в широких масштабах.
Послушайте, как Даниэла Рус и Марк Робертс обсуждают идеи и инженерные подходы, которые могли бы сделать надежный ИИ возможным в широких масштабах: послушайте подкаст New Era of Engineering целиком
