Автор: Ханна Пресс (Hannah Press)Возможно, у меня проблемы с зубами, но на самом деле мне плевать на пятицентовик или плотину. Кто я?

Если вы ответили «бобр», вы правы. Но как вы к этому пришли? Знали ли вы, что на канадской пятицентовой монете изображен бобр, или собрали воедино подсказки о зубах и плотинах?

Cohere Labs задала 28 моделям ИИ ту же загадку в рамках нового исследования, проверяющего, насколько хорошо модели понимают культуры по всему миру. Шестнадцать ответили правильно, в то время как другие сосредоточились на зубах (зубочистка, зубная боль) или воде (река, водопад). Один даже предположил, что это серьга. Исследование не показало, почему каждая модель ответила именно так.

Если вы хотите проверить свои силы в сравнении с моделями, попробуйте разгадать эти загадки сами.

Большинство тестов на культурные знания ИИ были сосредоточены на фактах — например, на знании того, какое животное изображено на канадской пятицентовой монете. Cohere Labs хотела выяснить, смогут ли модели сделать шаг вперед и использовать свои знания о культуре для решения загадок. Полученные результаты показывают, что нам могут потребоваться лучшие способы измерения того, насколько хорошо ИИ понимает культурный контекст, а также лучшие методы обучения моделей учету культурного контекста.

Все началось с one Hungarian man and 100 riddles. Карой Бочка (Károly Boczka), бывший дипломат, писал загадки о своей стране и обнаружил, что модели «почти идеально звучат убедительно», но «гораздо менее способны быть правыми». Он поделился своей идеей с Юлией Кройцер (Julia Kreutzer), старшим научным сотрудником Cohere Labs, и проект пошел в гору. За шесть месяцев 167 волонтеров из 62 сообществ написали более 6000 загадок о собственных культурах на своих родных языках.

В последнем выпуске Mixture of Experts Эш Минхас (Ash Minhas), менеджер по техническому контенту в IBM, заявил, что система оценки бенчмарков ИИ нуждается в модернизации. Традиционно модели зарабатывают баллы за правильные ответы, но не получают ничего за признание своей неуверенности. «Модели стимулируют угадывать», — сказал он.

Главный изобретатель IBM Джессика Нахулан (Jessica Nahulan) вернула обсуждение к культурному контексту с помощью уместной отсылки к магии. Проведя параллель между промптами ИИ и заклинаниями, она отметила, что несколько слов могут нести в себе больше смысла, чем кажется на первый взгляд. «Каждое слово в разных культурах может иметь разную интерпретацию», — сказала она. Таким образом, ИИ необходимо тестировать на языках, которые используют люди, и с учетом их культурных перспектив. Подход Cohere, основанный на участии сообщества, был нацелен именно на это.

Но остается одна проблема. Сама культура — это «как движущаяся мишень», сказал Эш. По мере эволюции культур меняется и сложность проверки того, понимает ли их ИИ.