Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Kogda veroyatnostnoe vstrechaetsya s podotchetnostyu
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Когда вероятностное встречается с подотчетностью

Источник: Atos•19 ноября 2026 г. в 16:18

Когда вероятностное встречается с подотчетностью

Представьте двух людей, подающих заявку на получение одной и той же услуги. Их обстоятельства абсолютно идентичны, к ним применяется одна и та же политика, и они отправляют одинаковую информацию в одну и ту же систему. Первая заявка одобрена. Вторая отклонена. Наша ИИ-система может объяснить оба…

Представьте двух людей, подающих заявку на получение одной и той же услуги. Их обстоятельства абсолютно идентичны, к ним применяется одна и та же политика, и они отправляют одинаковую информацию в одну и ту же систему.

Первая заявка одобрена. Вторая отклонена. Наша ИИ-система может объяснить оба решения.

Я бы все равно сказал, что у нас проблема.

Этот мысленный эксперимент затрагивает нечто фундаментальное в использовании генеративного ИИ для принятия важных решений. Мы тратим много времени на выяснение того, может ли ИИ объяснить ответ. Но нам также следует спросить, должен ли этот ответ изначально быть одинаковым.

Вероятность полезна

Большие языковые модели генерируют ответы на основе вероятностей, что наделяет их возможностями, отсутствующими у традиционного программного обеспечения. Если я прошу ИИ интерпретировать неоднозначное сообщение, изучить сложный документ или разобраться в незнакомой ситуации, вам может пригодиться такая гибкость. У проблемы нет единственного пути, который можно полностью описать заранее.

Регулируемые бизнес-процессы содержат множество подобных неопределенностей. Заявки поступают в виде свободного текста. Клиенты формулируют мысли по-разному. Релевантная информация скрывается в подтверждающих документах, и кейсы не всегда вписываются в удобный шаблон. ИИ может помочь разобраться в этих материалах.

Впрочем, со временем процесс может столкнуться с вопросом иного рода. Возможно, правовые нормы определяют право на получение льгот. Страховой полис определяет, покрывается ли конкретный случай. Правило комплаенса определяет, что происходит при соблюдении установленных критериев.

Система перешла от интерпретации кейса к применению решения, которое организация уже определила. Сколько вероятности нам здесь нужно? Предполагаю, что ноль.

Объяснения может быть недостаточно

Возможность объяснения имеет решающее значение, особенно когда автоматизированные системы влияют на важные решения. Клиент может захотеть понять результат. Сотруднику может потребоваться проверить его, в то время как аудитору или регулятору могут понадобиться доказательства того, как было принято решение и на каких законах и нормативных актах оно основывалось.

Наш пример с двумя заявителями обнажает слабость подхода, при котором объяснение считается решением всей проблемы. Если система может выдавать два разных ответа на одни и те же релевантные факты, а затем убедительно объяснять оба ответа, предоставление этого объяснения не устраняет несоответствие.

Для определенных решений вам требуется нечто более конкретное:

  • Какую именно информацию использовала система?
  • Какие правила, основанные на определенные законах и нормативных актах, применяются к этому решению?
  • Какая версия решения и его правил выполнялась в тот момент?
  • Как эти входные данные привели к такому конкретному результату?

И если я отправлю те же самые проверенные факты в ту же самую систему принятия решений повторно, сможете ли вы воспроизвести абсолютно идентичный результат? Этот вопрос имеет прямые последствия для архитектуры.

Найдите, где заканчивается неопределенность

Представьте себе заявку, состоящую из формы, переписки и нескольких подтверждающих документов. ИИ-система может изучить материал и выявить информацию, имеющую отношение к делу. Она может классифицировать документы, извлекать потенциальные факты и сигнализировать о том, что кажется упущенным.

Эти роли полезны именно потому, что входные данные хаотичны. Как только система устанавливает и проверяет соответствующие факты, детерминированная служба может применить утвержденные правила отбора. Система может записать факты, переданные в эту детерминированную службу, версии правил и возвращенный результат.

Такое разделение не устраняет риски. Если ИИ извлечет из документа неверные факты, программное обеспечение может добросовестно рассчитать неверный ответ на основе этих фактов. Нам по-прежнему необходима надлежащая проверка, эскалация и контроль со стороны человека.

Но это дает нам более четкое представление о том, где существует неопределенность и где принимаются важные решения. Когда что-то идет не так, у нас появляется больше шансов понять, что произошло.

Регулирование заостряет вопрос

Эти проблемы становятся особенно заметными в регулируемой среде, где организациям может потребоваться показать аудиторам, как контролируются системы и как принимаются важные решения. Точные требования зависят от сектора, юрисдикции и сценария использования, поэтому архитектурным командам необходимы соответствующие знания в области права, комплаенса и рисков при оценке или проектировании реального приложения.

Я бы задал вопрос о воспроизводимости, даже если бы этого не требовало законодательство. Клиент может оспорить решение через несколько месяцев после его принятия. За это время правило могло измениться, и организации может потребоваться восстановить произошедшее, используя информацию и логику, которые действовали в тот конкретный день. «Я снова спросил модель, и она выдала мне это» вряд ли станет удовлетворительным аудиторским следом.

Простой тест

При рассмотрении решения в рамках процесса, поддерживаемого ИИ, мне нравится один вопрос, потому что он заставляет нас задуматься о природе работы: если ничего существенного не изменилось, устраивает ли нас то, что ответ меняется?

Бывают ситуации, когда ответом вполне может быть «да». Другой предлагаемый ответ на проблему с обслуживанием может быть столь же хорош. Резюме может быть сформулировано иначе. Один и тот же результат может быть достигнут с помощью более чем одного плана.

С другой стороны, если другой ответ создает серьезную проблему, особенно когда на кону человеческие жизни, мы узнаем что-то важное. Решение требует явной детерминированной логики, более строгой проверки, контролируемой службы, которую агент может вызвать, и человека, участвующего в процессе.

ИИ предлагает мощные инструменты для работы с неопределенностью, даже в регулируемых операциях. Тем не менее, некоторые решения требуют повторяемости при идентичных входных данных и 100-го соответствия законам и нормативным актам. Архитектура должна сохранять эту способность, не позволяя неопределенности проникать в решения, которые должны стабильно приводить к одинаковым результатам при одинаковых входных данных.

Наши два заявителя заслуживали одинакового решения, поскольку между ними не было никаких существенных различий. Архитектура тоже должна это учитывать.

Мы с не ждем нашего спонсорства на конференции Adopt AI 2026, которая пройдет 3-4 декабря в Париже. Каждый четверг в преддверии мероприятия Питер Калмейн (Peter Kalmijn), архитектор корпоративных цифровых решений и систем Agile и член сообщества исследователей Future Makers Research Community (FMRC) в Atos, будет объяснять, почему хорошая архитектура ИИ начинается с умения говорить «нет».

← Все статьи

О чём эта статья

Ещё в разделе «Облака и инфраструктура»

Все →
Примечания к выпуску GitLab 19.6
GitLab

Примечания к выпуску GitLab 19.6

Как найти сообщения Pub/Sub, находящиеся под угрозой, в разных проектах Google Cloud
Dynatrace

Как найти сообщения Pub/Sub, находящиеся под угрозой, в разных проектах Google Cloud

Разрыв в доверии к ИИ: почему потребители доверяют банкам больше, чем финтех-компаниям в вопросах ИИ
Fastly

Разрыв в доверии к ИИ: почему потребители доверяют банкам больше, чем финтех-компаниям в вопросах ИИ

Безопасность выполнения для Amazon EKS Auto Mode с помощью Sysdig
Sysdig

Безопасность выполнения для Amazon EKS Auto Mode с помощью Sysdig

Экосистема Anthropic
HCLTech

Экосистема Anthropic

Оптимизация операций медиацепочки поставок для мирового лидера индустрии развлечений на AWS
HCLTech

Оптимизация операций медиацепочки поставок для мирового лидера индустрии развлечений на AWS

Ещё от Atos

Не заставляйте агента делать абсолютно всё
Atos

Не заставляйте агента делать абсолютно всё

Вы можете позволить себе пилотный ИИ-проект. А потянете ли вы промышленную систему?
Atos

Вы можете позволить себе пилотный ИИ-проект. А потянете ли вы промышленную систему?

Сценарии злоумышленников: кто и как атакует цепочку поставок ИТ
Atos

Сценарии злоумышленников: кто и как атакует цепочку поставок ИТ

То, что ИИ может это сделать, означает ли, что он должен?
Atos

То, что ИИ может это сделать, означает ли, что он должен?

Кибербезопасность на скорости машин: успевает ли ваша программа защиты?
Atos

Кибербезопасность на скорости машин: успевает ли ваша программа защиты?

От прогнозирования к устойчивости: курс на новое киберравновесие
Atos

От прогнозирования к устойчивости: курс на новое киберравновесие