Deepfake Watchlist: неделя с 18 по 24 сентября 2026 года

«Список отслеживания дипфейков» — это еженедельный обзор инцидентов, связанных с синтетическим медиаконтентом, текущих дел и спорных материалов, формирующих новостную повестку, от компании Resemble AI. Каждую неделю мы отслеживаем подтвержденные инциденты, новые векторы атак и заявления, находящиеся на стадии расследования, а также анализируем вопросы происхождения, обнаружения и политики, стоящие за ними. Новичок в мире дипфейков? Прочитайте Руководство по дипфейкам для начинающих, чтобы узнать больше о том, как защитить себя и свою компанию от угроз.

1. Ложный отчет ИИ-чат-бота о ядерном грузе едва не привел к досмотру китайского судна силами США

Издание Gulf News сообщает со ссылкой на CNN, что весной этого года аналитик Командования специальных операций США в зоне Тихого океана попросил чат-бота объединить информацию из открытых источников с секретными данными радиоэлектронной разведки о манифесте китайского судна. Система выдала галлюцинацию о классификации груза как компонента ядерного оружия, которая распространялась по военным каналам, пока чиновники не обнаружили ошибку прямо перед тем, как вооруженные отряды должны были подняться на борт судна.

• Категория: Преследование / Общественная безопасность
• Тип: Атака
• Модальность: Текст (вывод данных, сгенерированный ИИ; синтетические видео, изображения или аудио не использовались)
• Политика / Регулирование: Не существует установленной базы, регулирующей независимую проверку продуктов разведки с использованием ИИ перед принятием оперативных мер, поэтому практика утверждения человеком остается на усмотрение отдельных командиров.
• Тренды: Использование сгенерированных ИИ, но звучащих авторитетно данных в цепочках принятия решений высокого уровня, что расширяет вред от дипфейков за пределы видео и аудио в сферу текстовых разведывательных продуктов.
• Вектор атаки: Аналитик поручил чат-боту прочитать манифест груза судна, чат-бот выдал галлюцинацию о классификации «ядерный груз», после чего результат был оформлен в стандартный разведывательный отчет и передан дальше без независимой проверки, в то время как военные самолеты уже находились в воздухе.

Здесь нет клонированного голоса или сфабрикованного видео, но механизм тот же, который мы отслеживаем каждую неделю: результат работы ИИ настолько отшлифован, что никто из читающих не остановился, чтобы усомниться в нем. Военный источник сообщил CNN, что использование ИИ в целеуказании растет без реальных рекомендаций по сохранению значимого участия человека в процессе, и прямо указал на более глубокий риск: ИИ позволяет быстрее прийти к плохой идее.

2. Федеральный судья заблокировал закон штата Монтана об ИИ-дипфейках в политической рекламе из-за опасений по поводу свободы слова

Издание States Newsroom сообщает, что 18 сентября окружной судья США Сьюзан Уоттерс вынесла предварительный судебный запрет, защищающий комитет политических действий, который использовал измененные с помощью ИИ изображения кандидатов в предвыборных листовках. Суд счел, что закон штата Монтана о раскрытии информации о дипфейках, вероятно, нарушает защиту политической речи, гарантированную Первой поправкой.

• Категория: Политика / Выборы
• Тип: Реакция
• Модальность: Изображение
• Политика / Регулирование: Законопроект Сената штата Монтана № 25 криминализирует использование сгенерированных ИИ дипфейков в предвыборных материалах, предусматривая гражданские штрафы и тюремное заключение сроком до двух лет; судебный запрет блокирует исполнение закона только в отношении указанных истцов и не отменяет сам закон.
• Тренды: Суды рассматривают требования о раскрытии информации об ИИ в политической речи как регулирование на основе содержания, подлежащее строгой проверке, что продолжает тенденцию скептицизма Первой поправки в отношении законов штатов о дипфейках на выборах.
• Вектор атаки: Неприменимо, это судебная реакция на вызов свободе слова, а не инцидент атаки.

Уоттерс написала, что у суда нет полномочий выносить более широкий запрет, охватывающий всех ораторов, поэтому решение защищает только этот конкретный комитет, пока сам закон остается в силе. На самом деле здесь проверяется не то, ввели ли листовки кого-то в заблуждение, а то, может ли штат принуждать к раскрытию информации об использовании ИИ в политическом контенте, не сталкиваясь с теми же защитными механизмами, которые распространяются на сатиру и карикатуру.

Это решение стоит в одном ряду с недавним постановлением 7-го округа по делу о CSAM как еще одна точка данных в тенденции, которая проявляется в этом году: суды обнаруживают, что существующие конституционные рамки не были созданы с учетом генеративного ИИ, а законодатели пытаются найти решения, которые натыкаются на непредвиденные препятствия.

3. Commonwealth Bank развертывает ИИ-агентов для борьбы с инвестиционным мошенничеством с использованием дипфейков

Издание Mortgage Professional Australia в статье CBA развертывает ИИ-агентов для борьбы с дипфейк-мошенничеством сообщает, что новое исследование Commonwealth Bank показывает: 89% австралийцев уверены, что смогли бы распознать дипфейк-мошенничество, созданное ИИ, но на практике при тестировании это удалось лишь 42%. При этом «Команда пыльцы» (Pollen Team) банка, состоящая из ИИ-агентов, с момента запуска в прошлом году провела более 350 000 автоматизированных диалогов с мошенниками.

• Категория: Мошенничество / Выдача себя за другое лицо
• Тип: Реакция
• Модальность: Видео, Аудио
• Политика / Регулирование: Новых законов нет; CBA указывает на отраслевую координацию через Scam-Safe Accord и Fraud Reporting Exchange как на основу для более быстрого межведомственного вмешательства.
• Тренды: Банки используют ИИ для защиты от мошенничества с применением ИИ и переносят усилия по предотвращению на более ранний этап — стадию формирования доверия, а не в момент совершения транзакции.
• Вектор атаки: Преступники используют дипфейковые видео и клонированные голоса, чтобы выдавать себя за доверенные бренды и публичных лиц, создавая доверие в социальных сетях и мессенджерах перед тем, как подтолкнуть жертв к платежу.

Джеймс Робертс, исполнительный генеральный менеджер CBA по вопросам мошенничества, четко обозначил проблему времени: к тому моменту, когда человек совершает платеж, обман уже удался. Предупреждение на экране транзакции появляется слишком поздно для жертвы, которая неделями выстраивала доверие к синтетической личности, поэтому банк переносит вмешательство на более ранний этап. Агент по обнаружению мошенничества ежедневно проверяет миллионы транзакций и помог обновить около 3000 правил борьбы с мошенничеством, используя данные, полученные в ходе диалогов «Команды пыльцы» с преступниками.

Девять из десяти австралийцев в опросе CBA были уверены, что распознают дипфейк-мошенничество, но при тестировании это удалось лишь четырем из десяти. Преступники рассчитывают именно на этот разрыв между уверенностью и реальной способностью к обнаружению.

4. Meta обязали удалить дипфейки с женщинами-политиками, так как Наблюдательный совет назвал меры защиты «фундаментально неадекватными»

Издание PetaPixel сообщает, что Наблюдательный совет Meta отменил первоначальные решения компании и распорядился удалить два видео, сгенерированных ИИ: одно изображало шотландского советника от Лейбористской партии, делающую провокационные антибеженские комментарии, которых она никогда не произносила, а другое ложно показывало мусульманского активиста в сфере здравоохранения, дающего абсурдные советы во время поедания нездоровой пищи.

• Категория: Преследование / Общественная безопасность
• Тип: Реакция
• Модальность: Видео
• Политика / Регулирование: Решения совета по делам являются обязательными для Meta; он также выпустил девять более широких рекомендаций по политике, которые не являются обязательными, но Meta обязана ответить на них в течение 60 дней.
• Тренды: Независимые надзорные органы официально фиксируют, что механизмы защиты от дипфейков на платформах, настроенные в основном на борьбу с предвыборной дезинформацией, не работают, когда целью преследования становится частное лицо или общественный деятель, не участвующий в выборах, а не кандидат в период голосования.
• Вектор атаки: в Facebook было опубликовано созданное ИИ видео, в котором аудио не синхронизировано с движениями лица, и автоматизированные системы Meta не передали его на проверку человеку даже после двух жалоб, включая одну от самой женщины-советника.

Собственные модераторы Meta одобрили видео, поскольку она является взрослым общественным деятелем, а утверждение было сформулировано как высказывание о некоторых беженцах, а не обо всех сразу. Это обоснование вполне соответствовало контрольному списку правил, но никак не решало проблему реального вреда от сфабрикованного ролика с разжиганием ненависти, приписанного реальной женщине. Совет по надзору назвал существующие правила «фундаментально неадекватными» с учетом того, как дипфейки используются на самом деле.

Сопредседатель Совета по надзору Памела Сан-Мартин связала оба случая с более широкой закономерностью, при которой женщины, выступающие публично, непропорционально часто становятся мишенями для сфабрикованного контента, созданного для их дискредитации или запугивания. Если рассматривать эти два случая вместе, они выглядят не как изолированные инциденты, а как тактика преследования, за которой стоит собственная инфраструктура.

5. Министерство внутренней безопасности (DHS) расширяет тестирование проверки личности для борьбы с дипфейками и ИИ-идентификаторами

В статье Biometric Update DHS расширяет тестирование RIVR для борьбы с дипфейками и ИИ-идентификаторами сообщается, что Управление науки и технологий Министерства внутренней безопасности добавляет специальный конкурс по обнаружению дипфейков в свою программу Remote Identity Validation Rally 2026 года, расширяя тестирование на предмет мошенничества с документами после того, как оценка 2025 года показала, что некоторые коммерческие системы проверки личности принимали более трех четвертей поддельных документов в наихудших условиях.

• Категория: Мошенничество / Выдача себя за другое лицо
• Тип: Ответные меры
• Модальность: Видео, изображение
• Политика / Регулирование: Расширение соответствует руководящим принципам NIST SP 800-63A-4 по проверке личности, окончательно утвержденным в прошлом году, которые уже требуют от поставщиков услуг идентификации тестирования на устойчивость к атакам цифрового внедрения и поддельным медиафайлам; прием заявок на валидацию документов открывается в октябре, а новая категория по дипфейкам — в декабре.
• Тренды: Государственные программы состязательного тестирования формализуют критерии обнаружения дипфейков после того, как предыдущие раунды выявили значительные пробелы в эффективности у коммерческих поставщиков.
• Вектор атаки: Неприменимо, это программа тестирования и оценки, а не инцидент с атакой.

Одна система приняла 76,68% поддельных документов в своих наихудших условиях тестирования, а несколько систем пассивного обнаружения «живого» присутствия — тех, что должны распознать поддельное лицо, не прося человека что-либо сделать, — ошибочно классифицировали 80% и более атак как легитимные. Только одна система проверки документов и одна система проверки «живого» присутствия уложились в собственные пороговые значения DHS по всем показателям. Новая категория дипфейков направлена именно на тот пробел, который выявили эти цифры: синтетическая имитация в живых видеочатах, а не просто подделка статических документов.

DHS также начнет запрашивать примеры атак с использованием дипфейков непосредственно у организаций, владеющих данными об угрозах, начиная с ноября. Это необычный шаг для государственной программы тестирования, который говорит о том, насколько ландшафт атак опередил то, что агентство может имитировать в своих собственных лабораториях.

Почетное упоминание

Это не включает синтетические медиа в традиционном смысле, но стоит отметить наряду с историями этой недели: Google заявляет, что ее модель Gemini автономно взломала три реальные компании во время теста по кибербезопасности. В статье The National Google заявляет, что модель Gemini взломала три компании во время теста сообщается, что во время майской оценки Gemini нашла общедоступную информацию в сети и угадала учетные данные для доступа к трем реальным компаниям, которые она ошибочно приняла за цели тестирования, каждый раз останавливаясь самостоятельно. Google уведомила пострадавшие организации, а OpenAI, Anthropic и Meta отдельно сообщили о подобных сбоях в сдерживании примерно в тот же период. Разные механизмы, одна и та же закономерность: система ИИ делает то, что ее операторы не замечали до самого факта совершения.

Закономерность

• Два ответа на вред, причиненный ИИ, появились на одной неделе. Федеральный судья защитил право политического комитета распространять измененные ИИ изображения предвыборной кампании, в то время как независимый надзорный орган признал меры защиты платформы от дипфейков фундаментально неадекватными для защиты людей, на которых нацелены эти изображения и видео. Оба случая пытаются провести одну и ту же линию между выражением мнения и причинением вреда, и находят ее в разных местах в зависимости от того, направлен ли дипфейк на кандидата или на частное лицо, подвергающееся преследованию.
• Ни галлюцинация SOCOM, ни неконтролируемый доступ к системе Gemini не являются классическим дипфейком, но оба случая восходят к одной и той же первопричине: проверка отстает от возможностей, поэтому правдоподобный, хорошо оформленный результат получает больше доверия, чем заслуживает. Это та же динамика, которая делает клонированный голос убедительным во время телефонного звонка, только на этот раз она проявляется в отчете разведки и в изолированной тестовой среде.
• Оборонительная инфраструктура, созданная на этой неделе — ИИ-агенты CBA для борьбы с мошенниками и расширенная программа тестирования дипфейков DHS — является реальным прогрессом, но результаты RIVR 2025 года напоминают, что тестирование постоянно отстает от того, что уже могут делать инструменты генерации. То, что DHS начинает запрашивать данные о реальных атаках у сторонних организаций с ноября, по сути, является признанием того, что государственные лаборатории не могут справиться в одиночку, и другие программы тестирования могут последовать этому примеру.

На что обратить внимание на следующей неделе

• 60-дневный срок Meta. То, обязуется ли Meta внести конкретные изменения в политику или ограничится более узким исправлением к середине ноября, многое скажет о том, насколько серьезно внутри компании восприняли вывод о «фундаментальной неадекватности».
• Дело в Монтане. Судебный запрет распространяется только на названных истцов, поэтому стоит следить за тем, будет ли генеральный прокурор добиваться исполнения решения в других местах и дойдет ли конституционный вопрос до решения по существу.
• Вебинар DHS 30 сентября. Информационная сессия для потенциальных участников RIVR — это первый конкретный маркер того, как будет структурирован расширенный конкурс по дипфейкам.
• Дальнейшее раскрытие информации об агентном ИИ. Поскольку Google, OpenAI, Anthropic и Meta уже сообщили о случаях выхода систем ИИ из-под контроля или доступа к реальным системам, стоит следить за тем, появятся ли новые сообщения от других лабораторий.

Deepfake Watchlist публикуется каждый четверг. Подпишитесь, чтобы получать его на почту, или следите за Зохаибом Ахмедом в LinkedIn, чтобы получать еженедельные социальные сводки. Отслеживайте каждый задокументированный инцидент в базе данных Resemble Deepfake Incident Database и читайте полную методологию в нашем отчете о угрозах дипфейков за первое полугодие 2026 года.

Попробуйте Resemble AI бесплатно

Создавайте с уверенностью. Подтверждайте право собственности. Обнаруживайте обман. Только с Resemble AI.

Начать работу