Мэтт Кауфман, директор по безопасности
За последние 20 лет мы усовершенствовали наши системы безопасности, расширили инструменты родительского контроля и работали рука об руку с экспертами по защите детей и правоохранительными органами, чтобы создать позитивную среду для игроков. Мы знаем, что эта работа никогда не будет завершена: возникают новые риски, технологии развиваются, и платформы должны постоянно учиться и совершенствоваться, чтобы оставаться на шаг впереди.
Мы сотрудничаем с правоохранительными органами по всему миру для борьбы с вредоносными действиями на платформе. Ключевым партнером в этих усилиях является Национальный центр по поиску пропавших и эксплуатируемых детей (NCMEC), куда мы сообщаем о подозрительных случаях сексуальной эксплуатации детей, что требуется от всех поставщиков онлайн-услуг согласно федеральному законодательству США. NCMEC выступает в качестве глобального центра обработки таких отчетов, проверяя и направляя их в национальные и международные правоохранительные органы. Как и многие другие компании, Roblox поддерживает регулярные контакты с NCMEC в рамках нашего рабочего взаимодействия. Недавно мы посетили NCMEC для совместного обсуждения того, как мы можем продолжать повышать качество и практическую значимость наших отчетов.
Мы также сотрудничаем с Международным центром по поиску пропавших и эксплуатируемых детей (ICMEC), который предоставляет ресурсы, инструменты и обучение для педагогов и правоохранительных органов по всему миру. «ICMEC ценит партнерство с Roblox, которое внесло вклад в усиление мер по обеспечению безопасности детей в Интернете», — сказала Пилар Рамирес, вице-президент по развитию национального потенциала ICMEC. «Благодаря этому сотрудничеству мы поддержали инициативы по наращиванию потенциала правоохранительных органов и других соответствующих заинтересованных сторон, предоставляя специализированное обучение, ресурсы и инструменты, помогающие укрепить их знания и способности в решении проблем безопасности детей в Интернете. Это партнерство демонстрирует важность сотрудничества между частным сектором и специализированными организациями для создания более безопасной цифровой среды и усиления защиты детей в сети».
Хотя мы не можем раскрывать детали каждого отчета, направляемого в правоохранительные органы, сводные данные включаются в наши отчеты о прозрачности и (в отношении сексуальной эксплуатации детей) в годовой отчет NCMEC. Использование этих отчетов для прямого сравнения платформ может вводить в заблуждение, поскольку показатели напрямую отражают дизайн платформы компании, методологию отчетности и масштаб (например, количество активных пользователей в день).
Например, наши системы разработаны для выявления потенциальных проблем между несовершеннолетними, таких как обмен или повторение нецензурной лексики юными игроками. Это разговоры, в которых не участвуют взрослые злоумышленники, и, в зависимости от многих факторов, они могут не требовать приоритетного вмешательства правоохранительных органов. Примерно 40% наших отчетов в NCMEC относятся к этой «информационной» категории. Мы реагируем на подобные инциденты между несовершеннолетними с помощью предупреждений, усиленного мониторинга, ограничений учетных записей и их блокировки, когда это оправдано.
Подход Roblox к безопасности
Из-за нашей уникальной аудитории, включающей множество юных игроков, мы активно выявляем неправомерное поведение и сообщаем о нем по соответствующим каналам. Наша философия заключается в том, чтобы действовать более проактивно, чем многие другие, в предотвращении ненадлежащего поведения. Некоторые из созданных нами защитных механизмов нетипичны для игровых платформ — и могут быть непопулярны, — но мы предпочитаем проявлять излишнюю осторожность.
Встроенная защита чата: игроки не могут делиться фотографиями или видео в чате, что означает, что чат нельзя использовать для распространения материалов с сексуальным насилием над детьми (CSAM), что является одной из самых больших проблем для многих онлайн-платформ.
Возможность видеть, делиться или отображать внешние гиперссылки ограничена определенными страницами и возрастными группами. Эта политика разработана для предотвращения попыток злоумышленников увести юных пользователей из Roblox в менее контролируемую среду, где они потенциально могут делиться неприемлемым контентом или запрашивать личную информацию.
Наконец, мы не шифруем чат, что позволяет нашей системе безопасности и специалистам отслеживать текстовое общение, раньше выявлять потенциальное «груминг-поведение» и вмешиваться в режиме реального времени. Наша способность отслеживать все коммуникации в режиме реального времени напрямую приводит к сравнительно высоким показателям отчетности перед правоохранительными органами и отражает нашу приверженность безопасности.
Возрастная верификация: Roblox стала первой крупной игровой платформой, которая ввела проверку возраста для доступа к функциям чата, ограничив общение возрастными группами и предоставив родителям контроль над тем, с кем может общаться их ребенок. Мы автоматически назначаем игрокам тип учетной записи, который согласовывает доступ, контент, настройки общения и родительский контроль с их возрастом.
Алгоритмическое вмешательство: наши модели машинного обучения были оптимизированы для более раннего выявления попыток перевода общения за пределы платформы и паттернов поведения злоумышленников. Поскольку общение в Roblox основано на тексте или голосе, мы разработали сложные системы, предназначенные для обнаружения самых ранних признаков груминга, вовлечения и тонких способов, которыми злоумышленники начинают нарушать личные границы. Наши системы обучены обнаруживать и помечать такие разговоры для более тщательной проверки и мониторинга. Как только что-то переходит черту в одну из областей, о которых мы обязаны сообщать в NCMEC, мы делаем это незамедлительно. В результате наш уровень проактивного обнаружения значительно вырос, часто позволяя пресекать неправомерное поведение еще до того, как пользователи сообщат о нем.
Повышение квалификации модераторов: модераторы проходят специализированное обучение под руководством методиста и эксперта, обладающего знаниями о признаках эксплуатации детей. С помощью симулированных сценариев модераторы учатся распознавать тонкие, зависящие от контекста методы принуждения. После обучения они проверяют заявки пользователей вместе со службой поддержки, пока не будут готовы работать самостоятельно.
Непрерывное обучение моделей: для нарушений, определенных как «критический вред» (то есть тех, которые угрожают безопасности пользователя), мы проводим расследование, чтобы понять, что произошло и как это можно предотвратить в будущем. Мы также обучаем наши системы и рецензентов на основе новых моделей угроз (таких как злоупотребление генеративным ИИ), предоставляемых Thorn, NCMEC и правоохранительными органами. Язык и сленг со временем меняются, и люди, намеренные причинить вред, всегда ищут новые способы обойти наши фильтры. По этой причине мы постоянно обучаем наши модели на новых языковых паттернах и способах обхода. Когда мы обнаруживаем реальные состязательные паттерны, мы включаем их обратно в модель, чтобы помогать обучать ее на постоянной основе.
Обмен сигналами между платформами: самые серьезные онлайн-риски, включая создание угрозы для детей, не ограничиваются одной платформой. Roblox является активным участником проекта Lantern Tech Coalition — программы, которая позволяет технологическим компаниям безопасно обмениваться сигналами, чтобы помочь выявлять злоумышленников, действующих на разных платформах. Ранний и частый обмен информацией является ключом к тому, чтобы помочь правоохранительным органам связать факты между платформами для выявления и остановки тех, кто намерен причинить вред.
Поскольку системы обнаружения Roblox становятся все более изощренными и надежными, мы наблюдаем рост объема жалоб. Это не обязательно означает увеличение числа нарушений. Наши системы проектируются с расчетом на то, что кто-то и где-то попытается обойти нашу защиту. Все, что мы создаем, призвано помочь поймать их при попытке это сделать. Мы понимаем, что технологии и онлайн-риски будут продолжать развиваться, и мы продолжим работать круглосуточно, чтобы совершенствовать наши инструменты для раннего обнаружения и предотвращения. Мы постоянно работаем над усовершенствованием наших систем безопасности, улучшением родительского контроля, а также над просвещением родителей и опекунов и сотрудничеством с ними. Мы также полны решимости продолжать тесное взаимодействие с экспертами по детской безопасности и правоохранительными органами, чтобы платформа оставалась благоприятной средой для нашего сообщества.
Чтобы узнать больше о нашей архитектуре безопасности, политиках и средствах родительского контроля, посетите about.roblox.com/safety.
