Ученые годами пытались попытками выяснить, что происходит внутри систем ИИ, но ответ может оказаться проще, чем они предполагали.
Провокационное исследовательское эссе, написанное Ником Каммаратой из исследовательской компании в области ИИ Goodfire, возобновило дискуссию о том, как искусственный интеллект обрабатывает информацию. Каммарата утверждает, что отдельные искусственные нейроны — математические компоненты, которые помогают системам ИИ распознавать паттерны — могут иметь гораздо более простые функции, чем предполагали исследователи.
Его предварительные выводы ставят под сомнение теорию, которая годами направляла исследования, хотя эксперты предостерегают, что понимание отдельных нейронов не обязательно объясняет, как вся система ИИ в целом принимает решения.
«Присвоение метки каждому нейрону в модели — это не то же самое, что понимание всей модели в целом», — заявил в интервью IBM Think Джейкоб Андреас, доцент Массачусетского технологического института, изучающий интерпретируемость ИИ.
Годами исследователи, занимающиеся интерпретируемостью ИИ — попытками понять, как работают нейронные сети — безуспешно пытались объяснить, почему отдельные искусственные нейроны иногда реагируют на казалось бы несвязанные между собой концепты.
Одно влиятельное объяснение, известное как superposition, утверждает, что нейронные сети упаковывают множество концептов в одни и те же компоненты для эффективного использования их ограниченной емкости. Ученые разработали инструменты, называемые разреженными автоэнкодерами, чтобы разделить эти пересекающиеся представления на отдельные признаки, которые они могли бы изучить.
В своем эссе «Нейронные сети уже чисты» Каммарата утверждает, что исследователи, включая его самого, возможно, неверно истолковали некоторые доказательства суперпозиции. Вместо того чтобы объединять несвязанные концепты, нейроны могут распознавать паттерны, имеющие связи, которые исследователи изначально упустили из виду.
Используя аналитические инструменты и ИИ-агенты, Каммарата исследовал отдельные нейроны в нескольких нейронных сетях. В ходе предварительного анализа Qwen3-32B, языковой модели с 32 миллиардами параметров, он подсчитал, что примерно 90% полюсов нейронов имеют одну основную функцию. Полюс нейрона относится к положительной или отрицательной стороне активности нейрона.
Около 7% по-видимому имели две связанные функции.
Каммарата признал, что эти оценки отчасти зависят от того, как исследователи классифицируют более слабые активации нейронов. Он также охарактеризовал эссе скорее как «рабочую гипотезу», чем как завершенное техническое исследование.
Сторонние исследователи выразили сомнение в том, что выявление сильнейших реакций нейрона дает достаточно информации о его поведении в обычных условиях.
«Более серьезная проблема (или недостающая часть в этом исследовании) заключается в том, что пики охватывают очень малую долю срабатываний нейрона», — рассказал IBM Think Абдулла Сиддик, доцент Университета Кентукки.
Нейрон может реагировать на узнаваемый концепт при пиковой активности, но вести себя иначе в гораздо более частые периоды, когда его активность остается низкой, пояснил Сиддик.
В эссе приводятся примеры того, как существующие инструменты могут неверно идентифицировать нейроны. Один нейрон реагировал на запятые, но на самом деле отслеживал упоминания Колорадо. Другой, казалось, распознавал как бенгальский текст, так и строки в кодировке Base64 (метод представления цифровых данных в виде текста), пока более детальное исследование не выявило общий лингвистический паттерн.
Сиддик отметил, что исследователям необходимы эксперименты, которые целенаправленно изменяют активность нейронов и проверяют, реагируют ли модели так, как предсказывают их объяснения. Такие тесты могли бы помочь установить, действительно ли нейрон выполняет одну функцию.
Полученные результаты также вызывают вопросы о том, нужны ли ученым по-прежнему разрешенные автоэнкодеры, которые они разработали для разделения пересекающейся информации.
Георг Ланге, исследователь, изучающий работу нейронных сетей, рассказал IBM Think, что словарное обучение все еще может быть полезным. Этот метод помогает исследователям выявлять и понимать паттерны в нейронных сетях. В то время как Каммарата сосредоточился на нейронах в момент их наибольшей активности, словарное обучение могло бы помочь объяснить, что происходит при их более слабой активности.
Даже прямые эксперименты сталкиваются с препятствиями. Ланге отметил, что крупные сети содержат избыточные компоненты и иногда могут компенсировать ущерб, когда исследователи вмешиваются в работу отдельных нейронов.
Для Майкла Хана, исследователя языковых моделей, остается еще одна неопределенность: отражают ли понятные людям объяснения все, что на самом деле делают нейроны.
«Здесь есть прекрасные свидетельства того, что отдельные нейроны часто коррелируют с интерпретируемыми семантическими концептами», — сказал Хан в интервью IBM Think. «Огромная проблема заключается в том, что мы не знаем, действительно ли эти интерпретации охватывают все функции нейронов или только понятную человеку составляющую потенциально гораздо более сложной семантики».
За научной дискуссией кроется практическая озабоченность компаний, разрабатывающих системы ИИ: поможет ли понимание отдельных нейронов исследователям предсказывать опасное поведение?
В IBM Research Пин-Ю Чен, главный научный сотрудник, работающий над безопасностью и защищенностью ИИ, усомнился в надежности выводов Каммараты.
«У меня действительно двоякое отношение к этому эссе, потому что я считаю его немного преувеличенным», — сказал Чен в интервью IBM Think.
Даже имея детальное представление о внутренних компонентах модели, исследователи все равно столкнутся с задачей определения того, как эти компоненты взаимодействуют между собой, отметил Чен. Он сравнил понятную нейронную сеть с лабиринтом, имеющим множество возможных путей, которые все еще требуют исследования.
«Наличие карты лабиринта может сделать ред-тестинг более эффективным, но сама по себе карта без эффективного инструмента поиска не сделает безопасность абсолютной», — сказал он.
Ред-тестинг — это практика наступательной безопасности, которая предполагает намеренное тестирование системы ИИ с целью выявления уязвимостей или потенциально опасного поведения.
Чен указал на исследования IBM в области автоматизированного тестирования безопасности и ее проект с открытым исходным кодом Garak, который позволяет разработчикам проверять и изменять внутреннюю активность модели по мере того, как система ИИ генерирует ответы. Большинство исследований по интерпретируемости изучают модели вне нормального режима работы, отметил он, что затрудняет превращение этих выводов в средства защиты, которые работают во время работы модели.
Исследования в Мэрилендском университете в округе Балтимор иллюстрируют эту сложность. Компьютерный специалист Манас Гаур описал эксперименты, в которых изменение комбинаций признаков ИИ иногда делало ответы модели более опасными.
Результаты его команды показали, что внешне не связанные между собой признаки могут взаимодействовать способами, которые их индивидуальные описания не предсказывали. Эффекты различались в зависимости от моделей, промптов и условий эксперимента. Гаур также предостерег, что цифра в 90%, которую Каммарата определил как долю нейронов с одной задачей, может зависеть от используемых промптов, размера модели и контекста, в котором тестируются нейроны. «Необходимы дальнейшие тесты, чтобы установить, насколько широко это применимо к различным сценариям», — заявил он в интервью IBM Think.
Если независимые эксперименты подтвердят его выводы, гипотеза Каммараты может предложить исследователям более прямой способ изучения нейросетей. Но остаётся неясным, поможет ли знание отдельных компонентов ученым предвидеть поведение целых моделей.
Для Хана понимание того, как нейроны работают вместе, важнее, чем наделение каждого из них понятной функцией.
«Пока мы не понимаем процессы рассуждения, мы не можем предсказать весь спектр того, что может происходить внутри языковых моделей, и мы не можем предвидеть то, что может пойти не так», — отметил он.
