Что такое объяснимый ИИ и почему прозрачность так важна для решений на основе машинного обучения?

Использование технологий ИИ в бизнесе и государственном секторе развивается незаметно. Модели машинного обучения стали экспертами в выявлении закономерностей в огромных массивах данных. ИИ используется наряду с человеческим принятием решений с целью достижения лучших результатов, отчасти за счет того, что люди управляют его работой и приучаются доверять ему как надежному партнеру.

Пока все идет хорошо. За исключением одного критического компромисса: недостатка прозрачности в решениях, принимаемых инструментами ИИ.

Представьте, что…

• Вам отказали в приеме в вуз вашей мечты на основании алгоритма, используемого сотрудниками учебного заведения.
• Вы работаете на производственной линии, и новые «оптимизированные» инструкции, созданные ИИ для одного из процессов, кажутся небезопасными.
• Программное обеспечение ИИ вашего врача сделало вывод, который кажется неверным, учитывая то, что вы знаете о своем организме.
• В «Черную пятницу» ваши клиенты в интернет-магазине ведут себя совсем не так, как предсказывало программное обеспечение ИИ. Вы теряете продажи, а время уходит.

Потребность в (четких) объяснениях

Во всех этих теоретических примерах, созданных на основе результатов работы моделей ИИ, вы, вероятно, были бы обеспокоены. Вы захотели бы узнать, почему вы не впечатлили робота приемной комиссии, может ли ваш новый рабочий процесс привести к несчастному случаю, нужно ли вам второе мнение, как вы можете исправить свой веб-сайт.

Вы захотели бы узнать, как именно прогнозы модели были сделаны системами машинного обучения, которые считаются такими бесспорно интеллектуальными. Умными в некотором смысле — в конце концов, это ИИ — но, насколько вы понимаете, не совсем «мозговитой» компьютерной наукой. Вы бы почувствовали, что заслуживаете — и даже имеете право — знать точные методы обучения системы и алгоритмы принятия решений.

Вы также хотели бы иметь возможность безоговорочно доверять работе модели. Чтобы согласиться с выводами, вы почувствовали бы необходимость узнать, как нечеловеческие специалисты по данным применяли свои обучающие данные. Вы хотели бы, чтобы человек вмешался, если бы заподозрили проблемы с точностью объяснений или манипуляции с набором данных. Однако вы не смогли бы доказать, что робот выбрал не тот инструмент из своего набора.

За пределами индивидуума

И беспокоиться об этой технологии ИИ будете не только вы. Прозрачность, связанная с важными аспектами работы, была бы обязательной для всех участников процесса. Если бы вы были одним из внутренних сотрудников, например, главой приемной комиссии или руководителем медицинской группы, вы бы ожидали полной прозрачности процесса принятия решений. Вы бы ощущали груз ответственности за последствия решения не только из-за страха перед судебными исками, но и потому, что ваша компания отдает приоритет справедливости и этическим стандартам. А если бы вы были регулятором, вам, возможно, пришлось бы потребовать полного, кристально чистого объяснения.

Поэтому понятно, почему способность детализировать методы объяснимости ИИ имеет решающее значение. Возможность интерпретировать модель машинного обучения повышает доверие к ней, что необходимо в сценариях, затрагивающих многие финансовые, медицинские решения, а также вопросы жизни и смерти.

Что такое объяснимый ИИ?

Объяснимый ИИ — или объяснимый искусственный интеллект (XAI) — означает именно то, что слышится: пролитие света на то, что происходит в «черном ящике», который часто окружает внутреннюю работу ИИ. Объяснимое машинное обучение подотчетно и может «показать свою работу».

«Объяснимость — это способность выразить, почему система ИИ пришла к конкретному решению, рекомендации или прогнозу», — говорится в отчете McKinsey & Company за 2022 год.

IBM определяет объяснимый ИИ как «набор процессов и методов, которые позволяют пользователям-людям понимать и доверять результатам, созданным алгоритмами машинного обучения».

Вайолет Турри из Института программной инженерии при Университете Карнеги-Меллона отмечает, что по состоянию на 2022 год точные определения еще не были приняты: «Объяснимость направлена на то, чтобы отвечать на вопросы заинтересованных сторон о процессах принятия решений системами ИИ».

Трудно представить, что алгоритмы могут представить обоснования своих решений, а также указать на сильные или слабые стороны своего выбора. Но именно к этому все и сводится: интеллектуальная технология представляет информацию, которую люди могут легко понять, с «хлебными крошками», ведущими назад к моменту принятия решений.

ИИ не может выйти из-под контроля (или может?)

Итак, вы видите проблему: возможность того, что ИИ может делать все, что захочет, в непрозрачной системе, а у людей не будет способа проследить его логику или осмыслить его выводы.

Людям нужна возможность понимать, как работала модель машинного обучения, когда она выдает заключение, которое может иметь далеко идущие последствия. Люди, на которых влияет решение — не говоря уже о государственных органах (например, DARPA) — обычно хотят знать, как были сделаны выводы. И это верно для внутренних заинтересованных сторон, таких как продавцы страховых компаний, которые полагаются на то, что предлагают модели ИИ для определения сумм покрытия, и которым нужно как получить одобрение клиентов, так и сохранить свою корпоративную репутацию.

Таким образом, бизнес и правительство, не говоря уже об отдельных потребителях, согласны с тем, что принятие решений ИИ должно четко передавать, как оно пришло к решению. К сожалению, это не всегда достижимо из-за сложности процесса ИИ, когда последующие решения принимаются на основе первоначальных.

Могут ли они объяснить?

Возможно, если бы роботы могли высказаться, они бы сказали нам, что мы недостаточно умны, чтобы следить за сложными маневрами, которые они совершают, а затем спросили бы, зачем нам вообще это знать. Но они не главные, по крайней мере, пока. (Хм; может быть, мы ближе, чем осознаем, к тому дню, когда они начнут тайно принимать решения, игнорируя наши мольбы о прозрачности.)

Поэтому должны существовать объяснения процессов ИИ. Уровень комфорта людей, репутация компаний и даже само выживание человечества могут зависеть от этого. Короче говоря, деловые люди, их клиенты и партнеры, а также надзорные органы должны иметь возможность проверять и понимать каждый аспект процесса принятия решений ИИ.

Более того, эти объяснения должны быть представлены на нашем языке. Они должны быть логически обоснованными и (мы надеемся) заставлять нас, людей, чувствовать, что мы понимаем — и что мы согласны, даже если мы разочарованы — тем, что было решено.

Почему прозрачность критически важна для решений на основе машинного обучения

Что, если электронные следы ИИ непонятны для людей?

Короче говоря, на разных уровнях может возникнуть хаос. В 2017 году Стивен Хокинг предупредил: «Если мы не научимся готовиться к потенциальным рискам и избегать их, ИИ может стать худшим событием в истории нашей цивилизации». В этом ключе неспособность идентифицировать или задокументировать «мыслительный процесс» программы ИИ может быть разрушительной для потребителей, компаний и общего ощущения того, что мир — это справедливое и честное место.

Так что у всех затронутых групп есть масса мотивации для обеспечения прозрачности.

Прогресс на данный момент

На данный момент не существует единого глобального стандарта прозрачности искусственного интеллекта, но существует широкий консенсус относительно того, что операции ИИ должны быть объяснимы. По мере роста юридических и других опасений ожидается, что мир XAI адаптируется к меняющимся требованиям.

Компании в некоторых отраслях, использующие искусственный интеллект, уже некоторое время подпадают под регулирующие требования. Европа ввела Общую защиту данных (GDPR, 2016), которая требует от компаний объяснять потребителям, как ИИ принимал решения, влияющие на них.

Хотя США и не последовали за Европой, чтобы принять подобный всеобъемлющий закон, Закон о конфиденциальности потребителей Калифорнии (CCPA, 2020) диктует ту же самую суть: пользователи имеют право знать выводы, сделанные о них системами ИИ, а также какие данные были использованы для их формирования.

В 2021 году Конгресс определил объяснимость как неотъемлемую часть продвижения доверия и прозрачности в системах ИИ.

Инициативы более низкого уровня

Агентства и компании также ссылаются на эту цель, а также разрабатывают различные версии принципов объяснимого ИИ. Министерство обороны США работает над созданием «устойчивой ответственной экосистемы ИИ», включая создание принципов (2020). А Министерство здравоохранения и социальных служб стремится «содействовать этичному, надежному использованию и развитию ИИ».

Различные организации, включая Google, также взяли на себя ответственность за разработку принципов ответственного ИИ (RAI). Несмотря на то что не все компании делают приоритетом эти стандарты, они являются хорошей основой для роста.

Объяснимость приносит свои плоды

Помимо душевного спокойствия, которое может предоставить четкое объяснение, есть и финансовые преимущества прозрачности решений ИИ.

McKinsey обнаружила, что лучшая объяснимость привела к лучшему внедрению ИИ, а передовые практики и инструменты развивались вместе с технологией. Она также узнала, что когда компании делают цифровое доверие приоритетом для клиентов, например, включая объяснимость в алгоритмические модели, эти компании с большей вероятностью увеличивают свой годовой доход на 10 процентов или более.

IBM имеет не менее впечатляющие доказательства: пользователи ее платформы XAI достигли улучшения точности модели на 15–30 процентов и получили дополнительную прибыль в размере от 4,1 до 15,6 млн долларов.

Вызовы XAI

Сложные модели могут затемнять прозрачность

По мере развития возможностей ИИ они применяются для решения все более и более сложных проблем.

По мере того как это происходит, множатся вопросы о том, как это происходит: Почему модель программного обеспечения ИИ приняла именно это решение? Понимают ли человеческие коллеги, как работает модель, и имеют ли они твердое понимание входных данных, использованных для ее обучения? Каково объяснение каждому решению, принятому ИИ, а не только поведению первоначальной модели?

«Чем сложнее система ИИ, тем труднее точно определить, как она получила конкретное представление», — говорит McKinsey. …«Распутывание представления первого порядка и объяснение того, как ИИ перешло от А к В, может быть относительно легко. Но по мере того как двигатели ИИ интерполируют и реинтерполируют данные, аудиторский след становится сложнее для отслеживания.»

Проблема заключается в том, что многие модели ИИ непрозрачны: трудно или невозможно увидеть, что происходит за кулисами. Они создаются без прозрачности, либо намеренно (например, для защиты корпоративной конфиденциальности), либо ненамеренно, но с техническими данными, которые трудны для понимания нетехническими людьми, либо ненамеренно «из-за характеристик алгоритмов машинного обучения и масштаба, необходимого для их полезного применения», — говорит один из исследователей.

Кроме того, ИИ имеет множество подходов, включая сверточные нейронные сети, рекуррентные нейронные сети, обучение с переносом и глубокое обучение. Поскольку существует так много способов работы, выявление корня проблемы объяснимости ИИ может быть еще сложнее.

Непрозрачность — это одно; пустые слова о прозрачности, которая все равно непонятна людям, — другое. Что, если объяснение будет слишком техническим? Как можно гарантировать доверие к системе, если конечные пользователи не могут усвоить такой концепт, как глубокие нейронные сети, которые им нужно понимать? Что, если вы не можете донести до них в согласованном виде, что произшло с данными?

Отсутствие консенсуса по определениям объяснимости ИИ.

Область ИИ все еще формируется, поэтому пока нет большого практического ноу-хау по выбору, реализации и тестированию объяснений ИИ. Эксперты даже не могут согласиться, как определять основные термины. Например, является ли объяснимый ИИ тем же понятием, что и интерпретируемый ИИ?

Некоторые исследователи и эксперты говорят да и используют эти термины как синонимы. Другие страстно не согласны. Некоторые считают, что необходимо создавать модели со встроенной прозрачностью, чтобы решения могли быть легко интерпретированы людьми после их формулировки (последующие объяснения). Интерпретируемое машинное обучение — это другой подход, чем отказ от формальной подотчетности и попытка объяснить, что находится в черной коробке модели ИИ, с помощью последующего объяснения.

Это отсутствие консенсуса по концепциям приводит к неудобному дискурсу среди различных групп академиков и бизнесменов, использующих ИИ в разных отраслях, и это также сдерживает коллективный прогресс.

Академический пузырь

Проблемы сообщества ИИ в основном все еще обсуждаются учеными, а не вошли в мейнстрим в широких слоях общества. Одним из результатов того, что твердое понимание и вера в ИИ не укоренились, является то, что люди могут изначально недоверять ему в принятии решений, влияющих на них.

Недостаток социальной подотчетности.

Некоторые сторонники ИИ подчеркивают человеческий опыт, окружающий решения ИИ; это известно как «социальная прозрачность». Они опровергают тезис о том, что если люди смогут проникнуть в черную коробку и понять, что обнаружено, все будет в порядке. Но «не все, что важно, находится внутри черной коробки ИИ», — отмечает компьютерный ученый Upol Ehsan. «Критические ответы могут лежать вне ее. Потому что там, где люди».

Предвзятость в моделях ИИ

Люди, работающие в области ИИ в настоящее время, не представляют собой особенно разнообразную группу (область доминируют белые мужчины). В результате, как утверждают сторонники разнообразия, в способах создания и работы интерпретируемых моделей существует некоторая внутренняя предвзятость. Звучит правдоподобно, но как бороться с этим без разнообразного состава сотрудников, работающих с моделями машинного обучения? Является ли предвзятость в решениях конкретной модели — и если да, как с ней бороться — постоянной проблемой?

Возможные ошибки.

Одна из причин, по которой объяснимые модели так ценны, заключается в том, что модели ИИ иногда допускают ошибки, связанные с алгоритмами, что может привести к чему угодно — от небольших недоразумений до краха фондового рынка и других катастроф. «Мы считаем компьютеры абсолютным эталоном правильности, но ИИ все еще умно только настолько, насколько умны люди, которые его запрограммировали», — отмечает писатель Mike Thomas.

Человеческие реакции и последствия для бизнеса.

Если решение, основанное на методах data science, повсеместно воспринимается негативно — и при этом остается непонятным для тех, кого оно затрагивает, — вы можете столкнуться с серьезным сопротивлением. Что, если даже один недовольный человек, склонный жаловаться на несправедливость, например, в сфере финансовых услуг, нанесет ущерб репутации компании? Этот сценарий — настоящий кошмар для руководителей компаний.

Общественность может не понимать, как работает метод интерпретируемости моделей ИИ, но если модель создана и контролируется ответственно, а также надежно выдает точные результаты, это шаг к обеспечению принятия данной развивающейся технологии. Поскольку зависимость от алгоритмов ИИ при принятии важных бизнес-решений, медицинских и других типов решений в различных сценариях использования продолжает расти, возможность объяснять и проверять решения, принимаемые приложениями ИИ, поможет укрепить доверие и принятие разработок в области ИИ.

Преимущества объяснимых поисковых данных

Поисковые данные — это область, где высокая прозрачность ИИ является неотъемлемой частью успеха. Сложные формулы ранжирования (например, возникающие при смешивании весов атрибутов и близости слов) по сути представляют собой непрозрачную модель. Если вы стремитесь к оптимизации веб-сайта, вы можете задаться вопросом, почему результаты поиска представлены в определенном порядке, и можно ли их протестировать, уточнить и скорректировать для достижения желаемой релевантности?

С Algolia вам не нужно полагаться на методы интерпретируемости алгоритмов или беспокоиться о том, как работает система или как объясняется модель. Наши клиенты, использующие поиск, получают прозрачную модель «белого ящика» для понимания того, как вычисляется релевантность поиска. Например, вы можете увидеть, как результаты поиска ранжируются на основе факторов персонализации и релевантности, а затем вручную настроить их в соответствии с реальными потребностями.

Хотите использовать возможности ИИ для создания превосходного поиска для ваших пользователей с полной прозрачностью для ваших команд? Ознакомьтесь с нашим API для поиска и обнаружения и свяжитесь с нашими экспертами прямо сейчас.