Помогаем людям экономить с помощью ИИ: что мы узнали благодаря программе FCA AI Live Testing
ИИ может сделать повседневное управление финансами более доступным, своевременным и персонализированным. В Monzo мы изучаем, как ИИ может снизить усилия, затрачиваемые на управление деньгами, помогая клиентам понимать свои возможности, составлять план и корректировать его с течением времени, сохраняя при этом полный контроль.
В продуктах, которые мы создаем для клиентов, мы сочетаем способность ИИ объяснять и персонализировать информацию с четкими мерами защиты и предсказуемыми, проверяемыми системами для любых последующих действий. Мы тестируем это поэтапно и используем полученные знания для улучшения как клиентского опыта, так и систем, обеспечивающих его работу.
Финансовые услуги — это сфера высокого доверия, а генеративный ИИ ведет себя иначе, чем традиционное программное обеспечение. Его ответы могут варьироваться, опираться на невысказанные предположения или звучать более уверенно, чем позволяет лежащая в их основе информация.
Поэтому вопрос заключается не только в том, может ли ИИ-помощник дать полезный ответ, но и в том, как создать такого помощника, который будет неизменно обеспечивать хорошие результаты для клиентов. Мы присоединились к программе FCA AI Live Testing, чтобы вместе найти ответ на этот вопрос.
Почему мы работали с FCA
Monzo стала одной из первых компаний, выбранных FCA для тестирования ИИ в реальных условиях. Программа поддерживает компании, обладающие зрелыми системами ИИ, готовыми к тестированию в реальной среде, объединяя вклад регуляторных специалистов FCA с технической поддержкой от Advai.
Программа предоставила нам структурированную площадку для дискуссий, объединив регуляторные и технические взгляды с опытом в области продуктов, инженерии, дизайна, данных, рисков, комплаенса и клиентских результатов.
Ценность заключалась в том, чтобы выйти за рамки общих амбиций и проработать практические вопросы: какую проблему клиента мы пытаемся решить? Как должен выглядеть полезный и понятный опыт? Где он может запутать клиентов или оказаться недостаточно эффективным? Какие доказательства нам об этом скажут? Как нам реагировать и совершенствоваться, когда его поведение отличается от наших ожиданий?
Что мы тестировали
Мы тестировали раннюю версию сервиса для сбережений, разработанную, чтобы помочь клиентам ставить цели и продвигаться к их достижению. Он может помочь человеку превратить цель, например, накопления на отпуск или «на черный день», в посильную сумму для ежемесячного откладывания. Он также может понимать, как продвигается клиент, и пересматривать план, когда его обстоятельства меняются.
Область тестирования была намеренно узкой. Мы хотели узнать, где этот опыт действительно полезен, где он нуждается в улучшении и как сделать его поддержку более понятной и последовательной. Он предназначен для того, чтобы помочь клиентам обдумать свои планы и принять собственные решения.
Программа FCA AI Live Testing позволила нам проверить наши предположения в контролируемых реальных условиях и заблаговременно обсудить возникающие риски. Это помогло нам укрепить наш подход, внести вклад в развитие передовых практик и поделиться практическим опытом, который может лечь в основу будущей политики в отношении ИИ в сфере финансовых услуг.
Что мы узнали в ходе работы с FCA
Наши дискуссии с FCA были сосредоточены на пяти практических областях:
Начинайте с проблемы клиента. Четкая предполагаемая выгода и узкая область применения позволяют легче определить, что является хорошим результатом, где опыт может не оправдать ожиданий и какие доказательства имеют значение.
Доказательства и тестирование. Мы изучили, как существующие обязательства трансформируются в доказательства точности, актуальности, надлежащего обращения с неопределенностью и понимания клиентом.
Держите клиентов под контролем. Мы рассмотрели риски, выходящие за рамки фактических ошибок, включая скрытые предположения, самоуверенность и чрезмерную зависимость. Сервис должен четко разъяснять, что он может и чего не может делать, избегать создания ложной уверенности и поддерживать клиентов в принятии собственных решений.
Обеспечение надежности всей системы. Мы проработали вопросы о том, кто отвечает за сервис, как отслеживается его производительность, как изменения проверяются и тестируются перед выпуском и когда проблемы должны эскалироваться. Обеспечение надежности ИИ должно продолжаться по мере развития моделей, данных и поведения клиентов.
Наш опыт в рамках FCA AI Live Testing подтвердил ценность подхода, основанного на результатах и принципах. Детальные правила, привязанные к конкретной модели, могут быстро устареть, в то время как одни лишь общие принципы могут оставить неопределенность относительно того, как выглядит соразмерное обеспечение надежности. Наиболее полезный подход сочетает в себе четкие результаты с практическими доказательствами и средствами контроля.
Что дальше?
Мы продолжим делиться практическими уроками с FCA по мере того, как Monzo будет выпускать продукты, работающие на благо клиентов, и вносить вклад в более широкую дискуссию об ответственном использовании ИИ в финансовых услугах.
Мы продолжим тестировать, учиться и создавать лучшие сервисы для наших клиентов. Это только начало пути.
