Что такое объяснимый ИИ и почему прозрачность так важна для решений на базе машинного обучения?

Использование технологий искусственного интеллекта в бизнесе и государственном секторе развивалось незаметно. Модели машинного обучения стали экспертами в выявлении закономерностей в океанах данных. ИИ используется наряду с принятием решений человеком с целью достижения лучших результатов, отчасти за счет того, что люди управляют его работой и настраивают себя на доверие к нему как к надежному партнеру.

Пока все идет хорошо. Если бы не один критический компромисс: отсутствие прозрачности в решениях, принимаемых инструментами ИИ.

Представьте себе...

• Вам отказали в приеме в колледж вашей мечты на основе алгоритма, используемого сотрудниками учебного заведения.
• Вы работаете на производственной линии, и новые «оптимизированные» инструкции, созданные ИИ для одного из процессов, кажутся небезопасными.
• Программное обеспечение ИИ вашего врача сделало вывод, который кажется неверным, учитывая то, что вы знаете о своем теле.
• В «Черную пятницу» клиенты вашего интернет-магазина не делают того, что программное обеспечение ИИ предсказывало в огромных масштабах. Вы теряете продажи, а время на исходе.

Потребность в (понятных) объяснениях

Во всех этих теоретических примерах, созданных на основе результатов работы моделей ИИ, вы, вероятно, будете потрясены. Вы захотите узнать, почему вам не удалось произвести впечатление на робота приёмной комиссии, может ли ваш новый рабочий процесс привести к несчастному случаю, нужно ли вам второе мнение и как исправить свой сайт.

Вы захотите узнать, как именно прогнозы модели были сделаны системами машинного обучения, которые должны быть настолько бесспорно интеллектуальными. Умными в каком-то смысле — в конце концов, это ИИ — но не совсем развитыми с точки зрения компьютерных наук, насколько вы можете судить. Вы почувствуете, что заслуживаете — даже имеете право — знать точные методы обучения системы и логику принятия решений.

Вы также захотите иметь возможность безоговорочно доверять производительности модели. Чтобы смириться с выводами, вы будете вынуждены узнать, как нечеловеческие специалисты по обработке данных применяли свои обучающие данные. Вы захотите, чтобы человек вмешался, если заподозрите проблемы с точностью объяснений или манипуляции с набором данных. Однако вы не сможете доказать, что робот взял не тот инструмент из своего набора.

За пределами отдельного человека

И беспокоиться о технологии ИИ будете не только вы. Прозрачность, связанная с важными аспектами работы, будет обязательной для всех участников процесса. Если бы вы были одним из внутренних сотрудников, например, главой приемной комиссии или руководителем группы здравоохранения, вы бы ожидали полной прозрачности процесса принятия решений. Вы бы ощущали всю тяжесть последствий решения, не только потому, что боитесь судебных исков, но и потому, что ваша компания уделяет первостепенное внимание справедливости и этическим стандартам. А если бы вы были регулятором, вам, возможно, потребовалось бы потребовать полного, кристально ясного объяснения.

Таким образом, вы понимаете, почему способность подробно описывать методы объяснимости ИИ имеет решающее значение. Способность интерпретировать модель машинного обучения повышает доверие к ней, что крайне важно в таких сценариях, как те, которые влияют на множество финансовых, медицинских решений, а также решений, связанных с вопросами жизни и смерти.

Что такое объяснимый ИИ?

Объяснимый ИИ — или объяснимый искусственный интеллект (XAI) — означает ровно то, о чем говорит его название: прояснение того, что происходит в «черном ящике», который часто окружает внутреннюю работу ИИ. Объяснимое машинное обучение подотчетно и может «показать свою работу».

«Объяснимость — это способность выразить, почему система ИИ пришла к конкретному решению, рекомендации или предсказанию», — говорится в отчете McKinsey & Company за 2022 год.

IBM определяет объяснимый ИИ как «набор процессов и методов, который позволяет пользователям-людям понимать и доверять результатам и выводам, создаваемым алгоритмами машинного обучения».

Вайолет Турри из Института программной инженерии при Университете Карнеги-Меллона отмечает, что по состоянию на 2022 год точные определения еще не были по-настоящему приняты: «Объяснимость направлена на ответы на вопросы заинтересованных сторон о процессах принятия решений системами ИИ».

Трудно представить, что алгоритмы могут представлять обоснования своих решений, а также указывать на сильные или слабые стороны своего выбора. Но именно к этому все и сводится: интеллектуальная технология представляет информацию, которую люди могут легко понять, с «хлебными крошками», ведущими назад к моменту принятия решений.

ИИ не может выйти из-под контроля (или может?)

Итак, вы видите проблему: вероятность того, что ИИ сможет делать все, что захочет, в непрозрачной системе, а у людей не будет возможности проследить за его логикой или осмыслить его выводы.

Людям необходима способность понимать, как модель машинного обучения действовала, когда она выдает вывод, который может иметь далеко идущие последствия. Люди, на которых повлияло решение, не говоря уже о правительственных ведомствах (например, DARPA), обычно хотят знать, как были сделаны выводы. И это справедливо как для внутренних заинтересованных сторон, таких как продавцы страховых компаний, которые полагаются на то, что предлагают модели ИИ для определения сумм покрытия, и которым необходимо как добиться согласия клиентов, так и сохранить свою корпоративную репутацию.

Таким образом, бизнес и правительство, не говоря уже об отдельных потребителях, сходятся во мнении, что процесс принятия решений ИИ должен четко передавать то, как он пришел к решению. К сожалению, это не всегда достижимо из-за сложности процесса ИИ, когда последующие решения принимаются на основе первоначальных.

Могут ли они объяснить?

Возможно, если бы роботы имели право голоса, они бы сказали нам, что мы недостаточно умны, чтобы следовать сложным маневрам, которые они выполняют, а затем спросили бы, зачем нам вообще это нужно знать. Но они не главные, по крайней мере пока. (Хм; возможно, мы ближе, чем думаем, ко дню, когда они начнут тайком принимать решения, игнорируя наши просьбы о прозрачности).

Поэтому должны существовать объяснения процессов ИИ. Уровень комфорта людей, репутация компаний и даже окончательное выживание человечества вполне могут зависеть от этого. Короче говоря, деловые люди, их клиенты и партнеры, а также надзорные органы должны иметь возможность проверять и понимать каждый аспект процесса принятия решений ИИ.

Более того, эти объяснения должны быть представлены на нашем языке. Они должны иметь логический смысл и (будем надеяться) заставлять нас, людей, чувствовать, что мы понимаем — и что мы не против, даже если мы разочарованы — того, что было решено.

Почему прозрачность так важна для решений на базе машинного обучения

Что делать, если электронные следы ИИ непонятны для людей?

Короче говоря, на разных уровнях может наступить хаос. В 2017 году Стивен Хокинг предупредил, что «Если мы не научимся готовиться к потенциальным рискам и избегать их, ИИ может стать худшим событием в истории нашей цивилизации». В том же духе неспособность идентифицировать или задокументировать «мыслительный процесс» программы ИИ может стать devastating для потребителей, компаний и общего ощущения того, что мир является справедливым местом.

Так что у всех затронутых групп есть масса мотивации для обеспечения прозрачности.

Прогресс на данный момент

На данный момент не существует единого глобального стандарта прозрачности ИИ, однако существует широкое согласие в том, что операции ИИ должны быть объяснимы. По мере роста юридических и других опасений от мира XAI будут ожидать адаптации к любым меняющимся требованиям.

Компании в некоторых отраслях, использующие ИИ, уже некоторое время подпадают под действие нормативных требований. Европа внедрила Общий регламент по защите данных (GDPR, 2016 г.), который требует, чтобы компании предоставляли потребителям объяснения того, как ИИ принимал затрагивающие их решения.

Хотя Соединенные Штаты еще не последовали примеру Европы и не приняли столь масштабный закон, Закон о конфиденциальности потребителей в Калифорнии (CCPA, 2020 г.) диктует ту же идею: пользователи имеют право знать о выводах, сделанных о них системами ИИ, а также о том, какие данные использовались для этих выводов.

В 2021 году Конгресс признал объяснимость неотъемлемой частью укрепления доверия и прозрачности в системах ИИ.

Инициативы на более низком уровне

Агентства и компании также ссылаются на эту цель, а также на разработку различных версий объяснимого ИИ principles. Министерство обороны США работает над созданием «надежной экосистемы ответственного ИИ», включая разработку принципов (2020 г.). А Министерство здравоохранения и социальных служб стремится «содействовать этичному, заслуживающему доверия использованию и разработке ИИ».

Различные организации, включая Google, также взяли на себя задачу разработки принципов ответственного ИИ (RAI). Хотя не все компании уделяют первостепенное внимание этим стандартам, они являются хорошей основой для роста.

Объяснимость приносит свои плоды

Помимо душевного спокойствия, которое может обеспечить четкое объяснение, обеспечение прозрачности решений ИИ дает финансовые преимущества.

Компания McKinsey обнаружила, что лучшая объяснимость привела к более активному внедрению ИИ, а вместе с технологией развивались передовые практики и инструменты. Компания также выяснила, что когда предприятия делают цифровой доверие приоритетом для клиентов, например, за счет внедрения объяснимости в алгоритмические модели, такие компании с большей вероятностью увеличивают свою годовую выручку .

Компания приводит не менее впечатляющие доказательства: пользователи ее платформы XAI добились улучшения точности моделей на 15–30% и увеличения прибыли на 4,1–15,6 млн долларов.

Проблемы XAI

Сложные модели могут скрывать прозрачность

По мере развития возможностей ИИ их стали применять для решения все более сложных задач.

Вместе с этим возросло количество вопросов о том, как это происходит: почему программная модель ИИ приняла именно такое решение? Понимают ли коллеги-люди, как работает модель, и имеют ли они четкое представление о входных данных, использованных для ее обучения? Каково объяснение каждого решения, принятого ИИ, а не только первоначального поведения модели?

«Чем сложнее становится система ИИ, тем труднее точно определить, как именно она пришла к тому или иному выводу», — говорит . …«Разобраться с выводом первого порядка и объяснить, как ИИ прошел путь от А до Б, может быть относительно легко. Но по мере того как алгоритмы ИИ интерполируют и повторно интерполируют данные, контрольный след выводов становится все труднее отследить».

Проблема заключается в том, что многие модели ИИ являются opaque: трудно или невозможно увидеть, что происходит за кулисами. Они создаются без прозрачности — либо намеренно (например, для защиты корпоративной конфиденциальности), либо ненамеренно, но с техническими данными, которые трудно понять неспециалистам, либо ненамеренно «из-за характеристик алгоритмов машинного обучения и масштаба, необходимого для их эффективного применения», отмечает один исследователь.

Кроме того, в ИИ используется множество подходов, включая сверточные нейронные сети, рекуррентные нейронные сети, трансфертное обучение и глубокое обучение. Из-за такого обилия методов добраться до сути проблемы объяснимости ИИ может быть еще сложнее.

Непрозрачность — это одно; пустые разговоры о прозрачности, которые все равно остаются непонятными для человека, — совсем другое. Что, если объяснение слишком техническое? Как гарантировать доверие к системе, если ваши конечные пользователи не могут постичь концепцию глубоких нейронных сетей, которую им необходимо понять? Что, если вы не можете доступно донести до них то, что произошло с данными?

Отсутствие консенсуса в отношении определений объяснимости ИИ

Область ИИ все еще находится на стадии становления, поэтому практического ноу-хау по выбору, внедрению и тестированию объяснений ИИ пока мало. Эксперты даже не могут прийти к единому мнению о том, как определять базовые термины. Например, является ли объяснимый ИИ тем же понятием, что и интерпретируемый ИИ?

Некоторые исследователи и эксперты отвечают утвердительно и используют эти термины как синонимы. Другие категорически не согласны. Некоторые считают, что крайне важно создавать модели со встроенной прозрачностью, чтобы решения могли легко интерпретироваться людьми после их формирования (постфактумные объяснения). Интерпретируемое машинное обучение — это подход, отличный от отказа от формальной подотчетности и попытки объяснить то, что находится внутри «черного ящика» ИИ, с помощью последующих объяснений.

Такое отсутствие консенсуса по понятиям создает неловкие дискуссии среди различных групп академических кругов и бизнеса, использующих ИИ в различных отраслях, а также сдерживает коллективный прогресс.

Пузырь академических кругов

Проблемы ИИ-сообщества в основном все еще обсуждаются учеными, а не вышли на уровень широкой общественности в гражданском мире. Одним из результатов того, что четкое понимание ИИ и вера в него не прижились, является то, что люди могут изначально не доверять ему в принятии затрагивающих их решений.

Недостаток социальной подотчетности

Некоторые сторонники ИИ подчеркивают человеческий опыт, связанный с решениями ИИ; это известно как «социальная прозрачность». Они опровергают традиционную предпосылку о том, что если люди смогут проникнуть внутрь черного ящика и разобраться в обнаруженном, то все будет хорошо. Но «не все, что имеет значение, находится внутри черного ящика ИИ», отмечает компьютерный ученый Упол Эхсан. «Критические ответы могут лежать за его пределами. Потому что именно там находятся люди».

Предвзятость в моделях ИИ

Люди, работающие в сфере ИИ в настоящее время, не отличаются большим разнообразием (в этой сфере доминируют белые мужчины). В результате, как утверждают сторонники разнообразия, в способах создания и работы интерпретируемых моделей заложена определенная предвзятость. Это звучит справедливо, но без разнообразного пула сотрудников, работающих с моделями машинного обучения, как с этим бороться? Существует ли предвзятость в решениях конкретной модели — и если да, то как с ней бороться — это постоянные поводы для беспокойства.

Возможные ошибки

Одна из причин, почему объяснимые модели так ценны, заключается в том, что модели ИИ иногда совершают ошибки, связанные с алгоритмами, что может привести к чему угодно — от мелких недоразумений до краха фондового рынка и других катастроф. «Мы рассматриваем компьютеры как нечто абсолютное в плане правильности, но ИИ на самом деле ровно настолько умлен, насколько умны люди, которые его запрограммировали», — отмечает писатель Майк Томас.

Реакция людей и влияние на бизнес

Если решение на основе науки о данных оказывается всеобщим образом непопулярным и при этом непонятным для тех, кого оно затрагивает, вы можете столкнуться с серьезным сопротивлением. Что если даже один недовольный человек, склонный жаловаться на мнимую несправедливость, например в индустрии финансовых услуг, нанесет ущерб репутации компании? Такой сценарий — кошмар для руководителей компаний.

Общественность может не понимать, как работает метод интерпретируемости моделей ИИ, но если модель создана и контролируется ответственным образом и надежно выдает точные результаты, это шаг к обеспечению принятия данной развивающейся технологии. Поскольку зависимость от алгоритмов ИИ при принятии важных бизнес-медицинских и других типов решений с различными сценариями использования продолжает расти, возможность объяснять и проверять решения, принимаемые приложениями ИИ, поможет укрепить доверие к работе ИИ и ее принятие.

Преимущества объяснимых поисковых данных

Поисковые данные — это одна из областей, где высокая прозрачность ИИ является неотъемлемой частью успеха. Сложные формулы ранжирования (например, возникающие при смешивании весов атрибутов и близости слов) по сути представляют собой непрозрачную модель. Если вы стремитесь к оптимизации веб-сайта, вы можете задаться вопросом, почему ваши результаты поиска представлены в определенном порядке и можно ли их протестировать, доработать и скорректировать для достижения желаемой релевантности?

С Algolia вам не нужно полагаться на методы интерпретируемости алгоритма или беспокоиться о том, как работает система, или об объяснимости модели. Наши клиенты, использующие поиск, получают модель прозрачности «белого ящика» для расчета релевантности поиска. Например, вы можете увидеть, как результаты поиска ранжируются на основе факторов персонализации и релевантности, а затем вручную настроить их в соответствии с реальными потребностями.