Помогаем людям экономить с помощью ИИ: что мы узнали в рамках программы FCA AI Live Testing
ИИ может сделать повседневное управление финансами более доступным, своевременным и персонализированным. В Monzo мы изучаем, как ИИ может снизить усилия, затрачиваемые на управление деньгами, помогая клиентам понимать свои возможности, составлять план и корректировать его с течением времени, сохраняя при этом полный контроль.
В продуктах, которые мы создаем для клиентов, мы сочетаем способность ИИ объяснять и персонализировать информацию с четкими мерами безопасности и предсказуемыми, проверяемыми системами для любых последующих действий. Мы тестируем это поэтапно и используем полученные знания для улучшения как клиентского опыта, так и систем, обеспечивающих его работу.
Финансовые услуги — это сфера высокого доверия, а генеративный ИИ ведет себя иначе, чем традиционное программное обеспечение. Его ответы могут варьироваться, опираться на невысказанные предположения или звучать более уверенно, чем позволяет лежащая в их основе информация.
Поэтому вопрос заключается не только в том, может ли ИИ-помощник дать полезный ответ, но и в том, как создать помощника, который стабильно обеспечивает хорошие результаты для клиентов. Мы присоединились к программе FCA AI Live Testing, чтобы совместно найти ответ на этот вопрос.
Почему мы работали с FCA
Monzo стал одной из первых компаний, выбранных FCA для тестирования ИИ в реальных условиях. Программа поддерживает компании со зрелыми системами ИИ, готовыми к тестированию в реальной среде, объединяя вклад регуляторных специалистов FCA с технической поддержкой от Advai.
Программа предоставила нам структурированную площадку для дискуссий, объединив регуляторные и технические взгляды с опытом в области продуктов, инженерии, дизайна, данных, рисков, комплаенса и клиентских результатов.
Ценность заключалась в том, чтобы выйти за рамки общих амбиций и проработать практические вопросы: какую проблему клиента мы пытаемся решить? Как должен выглядеть полезный и понятный опыт? Где он может запутать клиентов или оказаться недостаточно эффективным? Какие доказательства нам об этом скажут? Как нам реагировать и улучшать систему, когда ее поведение отличается от наших ожиданий?
Что мы тестировали
Мы тестировали раннюю версию сервиса по сбережениям, разработанную для того, чтобы помочь клиентам ставить цели и достигать прогресса в их реализации. Он может помочь человеку превратить цель, например, накопления на отпуск или «на черный день», в управляемую сумму для ежемесячных сбережений. Он также может понимать, как продвигается процесс, и пересматривать план при изменении обстоятельств.
Масштаб был намеренно ограничен. Мы хотели понять, где этот опыт действительно полезен, где он нуждается в улучшении и как сделать его поддержку более понятной и последовательной. Он существует для того, чтобы помочь клиентам обдумать свои планы и принять собственные решения.
Программа FCA AI Live Testing позволила нам проверить наши предположения в контролируемых реальных условиях и заблаговременно обсудить возникающие риски. Это помогло нам укрепить наш подход, внести вклад в развитие передовых практик и поделиться практическим опытом, который может лечь в основу будущей политики в отношении ИИ в финансовых услугах.
Что мы узнали, работая с FCA
Наши дискуссии с FCA были сосредоточены на пяти практических областях:
Начинайте с проблемы клиента. Четкая предполагаемая выгода и узкий охват облегчают определение того, что является хорошим результатом, где опыт может оказаться недостаточным и какие доказательства имеют значение.
Доказательства и тестирование. Мы исследовали, как существующие обязательства трансформируются в доказательства точности, релевантности, надлежащего обращения с неопределенностью и понимания клиентом.
Сохраняйте контроль за клиентами. Мы рассмотрели риски, выходящие за рамки фактических ошибок, включая скрытые предположения, самоуверенность и чрезмерную зависимость. Сервис должен четко сообщать о том, что он может и чего не может делать, избегать создания ложной уверенности и поддерживать клиентов в принятии собственных решений.
Обеспечение надежности всей системы. Мы проработали вопросы о том, кто отвечает за сервис, как отслеживается его производительность, как изменения проверяются и тестируются перед выпуском и когда проблемы должны эскалироваться. Обеспечение надежности ИИ должно продолжаться по мере развития моделей, данных и поведения клиентов.
Наш опыт в рамках FCA AI Live Testing подтвердил ценность подхода, основанного на результатах и принципах. Детальные правила, привязанные к конкретной модели, могут быстро устареть, в то время как одни лишь общие принципы могут оставить неопределенность относительно того, что представляет собой соразмерное обеспечение надежности. Наиболее полезный подход сочетает четкие результаты с практическими доказательствами и средствами контроля.
Что дальше?
Мы продолжим делиться практическим опытом с FCA по мере того, как Monzo будет выпускать продукты, работающие на благо клиентов, и вносить вклад в более широкую дискуссию об ответственном использовании ИИ в финансовых услугах.
Мы продолжим тестировать, учиться и создавать лучшие сервисы для наших клиентов. Это только начало пути.