Что распознает музыкальный сервис, а что нет

AudD идентифицирует записи, а не песни. Цифровой отпечаток (фингерпринт) вычисляется на основе звучания конкретной записи, и совпадение означает: «это аудио содержит данную запись». Другая запись той же песни (кавер, концертное исполнение, перезапись) имеет другой отпечаток. На этой странице мы разберем случаи, возникающие при модерации, мониторинге и тегировании, дадим честный прогноз ожидаемого результата для каждого из них и покажем, как измерить точность на ваших собственных аудио, прежде чем полагаться на них.

Кратко (TL;DR)

• Для совпадения необходимо, чтобы та же самая запись присутствовала в базе данных, которую сканирует AudD: это либо публичная база из примерно 160 миллионов коммерчески выпущенных песен, либо ваш собственный каталог.
• Одна и та же запись успешно распознается после перекодирования, при другом битрейте, обрезке фрагмента, записи через динамик телефона, наличии фонового шума и наложенной речи — в определенных пределах. Очень тихая или сильно замаскированная музыка может не совпасть.
• Каверы, интерполяции, напеваемые или исполняемые голосом мелодии, а также ИИ-имитации — это новые записи. Они не совпадают с оригиналом. AudD не детектирует каверы, версии, интерполяции или аудио, сгенерированное ИИ.
• Изменения скорости, тональности и темпа снижают вероятность совпадения. AudD не публикует показатели допустимых отклонений; измеряйте их на своих преобразованных аудиофайлах.
• Для целей модерации «нет совпадений» означает «неизвестно», а не «очищено от прав».

Таблица ожидаемых результатов

Под «совпадениями» ниже подразумевается, что запись есть в базе данных, которую сканирует AudD. «Тестируйте» означает, что результат зависит от материала, поэтому проверяйте его на своих данных (см. «Создание тестового набора»).

Почему записи, а не песни

Песня в повседневном понимании — это композиция: мелодия, гармония, текст. Запись — это одно исполнение, зафиксированное и сведенное. Права распределяются так же: композиция принадлежит авторам и издателям, а запись — владельцу мастер-копии (см. глоссарий музыкальных прав).

Аудиофингерпринтинг сравнивает само звучание. Два исполнения одной и той же песни различаются по таймингу, тембру, тональности, аранжировке и сведению, поэтому они создают разные отпечатки. Именно поэтому кавер не совпадет с оригиналом, и именно поэтому фингерпринтинг лучше подходит для вопроса «присутствует ли эта конкретная запись?», а не «исполняется ли эта песня?»

Следствие, которое часто сбивает с толку: совпадение говорит вам, какая именно запись прозвучала, а метаданные (исполнитель, название, лейбл, ISRC, UPC) описывают эту запись и один из релизов, в который она входит. Это не говорит о том, кто владеет композицией, лицензировано ли использование или является ли лейбл текущим правообладателем.

Подробный разбор случаев

Та же запись, но с ухудшенным качеством

Перекодирование в MP3 или AAC, более низкий битрейт, моно, другая частота дискретизации, обрезка фрагмента и умеренный шум — все это оставляет запись узнаваемой. Фингерпринтинг создан для таких условий. Что снижает вероятность совпадения, так это потеря самой музыки: очень короткий клип, музыка, звучащая значительно тише речи или фонового шума, или сильная обработка, например, агрессивное шумоподавление. Страница о форматах и качестве аудио охватывает вопросы захвата и кодирования.

Стандартная конечная точка (endpoint) анализирует первые 12 секунд того, что вы отправляете. Если загрузка начинается с тишины или разговоров, отправьте более поздний фрагмент или используйте корпоративную конечную точку, которая сканирует весь файл целиком.

Версии одного и того же трека

Ремастеры, радиоверсии, расширенные миксы и пары «explicit/clean» содержат большую часть общего аудио, но каждая из них является отдельной записью, часто со своим собственным ISRC. Фрагмент одной из них может вернуться как версия, которую вы отправили, или как другая версия, которая звучит так же в этот момент. Какую именно вы получите, зависит от аудио и содержимого базы данных, поэтому мы не гарантируем ни то, ни другое.

Если ваша логика завязана на ISRC (например, «белый список» лицензированных треков), перечислите все ISRC, которые покрывает лицензия, или используйте исполнителя и название в качестве дополнительной проверки. Тестируйте на тех версиях, которые вас интересуют.

Концертные записи, каверы и перезаписи

Все три являются новыми записями. Каждая совпадает только сама с собой и только если она есть в базе данных. Выпущенный концертный альбом или выпущенный кавер могут совпасть; запись концерта на телефон обычно нет, потому что это исполнение никогда не выпускалось официально. AudD не определяет, является ли запись кавером или версией другой песни.

Интерполяции и сэмплы

Интерполяция — это повторное исполнение части композиции, поэтому здесь нет общей записи для совпадения. Сэмпл действительно использует часть записи, но он обычно короткий, наложен под новый материал и часто обработан. Публичная база данных идентифицирует новый трек как его самого (если он выпущен), а не как сэмпл внутри него.

Если вы владеете исходными записями и хотите найти их внутри треков других людей, загрузите их в пользовательский каталог и сканируйте кандидатов с помощью корпоративной конечной точки. Рецепт обнаружения сэмплов подробно описывает этот процесс. Насколько коротким или обработанным может быть сэмпл, чтобы все еще совпадать, зависит от материала, поэтому тестируйте на реальных примерах.

Ускоренное, замедленное и измененное по тональности аудио

В социальных сетях часто меняют скорость, тональность или темп, иногда специально, чтобы избежать обнаружения. Каждое из этих преобразований отдаляет аудио от эталонного отпечатка и делает совпадение менее вероятным по мере увеличения изменений. AudD не публикует показатель допустимых отклонений. Если преобразованное аудио важно для вас, измеряйте его; см. «Измерение совпадений на преобразованном аудио».

ИИ-имитации и клоны голоса

Модель, которая генерирует музыку «в стиле» артиста, или клонированный голос, поющий новый материал, создает новую запись. Она не совпадет с оригинальными записями, которые имитирует, и AudD не классифицирует аудио как сгенерированное ИИ. Сгенерированный трек совпадает только тогда, когда эта конкретная сгенерированная запись находится в каталоге: если она была коммерчески выпущена и находится в публичной базе данных, или если вы загрузили ее в свой пользовательский каталог для отслеживания перезаливов.

Диджейские миксы

Микс — это множество записей, идущих одна за другой с наложениями. Корпоративная конечная точка возвращает совпадение для каждого 12-секундного фрагмента, который она распознает, со смещением в вашем файле; фрагмент может содержать более одной песни во время перехода. Диджеи часто меняют темп для сведения, а эффекты, лупы и длинные переходы могут скрывать трек в течение части времени его звучания. Рецепт треклиста диджейского сета показывает, как свести совпадения фрагментов в треклист.

Библиотечная музыка и неизданное аудио

Публичная база данных охватывает коммерчески выпущенную музыку. Производственные библиотеки, неизданные мастер-копии, демо и корпоративные джинглы могут там отсутствовать. Если вам нужно распознать определенный набор записей, поместите их в пользовательский каталог (специальный доступ; напишите на [email protected]). Пользовательское совпадение содержит audio_id, а исполнитель/название могут быть пустыми.

Практические выводы

«Нет совпадений» — это не «очищено от прав»

Пустой результат означает, что AudD не нашел в этом аудио записей, которые ему известны. Аудио все еще может содержать кавер, интерполяцию, сильно измененный трек, концертное исполнение или запись, которой нет в базе данных. Для целей модерации авторских прав рассматривайте «нет совпадений» как неизвестный контент и решайте, что ваша платформа делает с ним (публиковать, публиковать и продолжать мониторинг отчетов или отправлять на проверку, когда другие сигналы указывают на музыку).

Сочетайте распознавание с проверкой человеком

Распознавание хорошо отвечает на один узкий вопрос. Направляйте случаи, которые оно не может решить, людям: спорные совпадения, загрузки с большим количеством неопознанной музыки и отчеты от правообладателей о контенте, который не совпал. Раздел «От совпадения к решению» показывает, как превратить результаты в действия: разрешить, заблокировать или отправить на проверку.

Знайте, как выглядит ваш собственный контент

Каждое утверждение на этой странице, помеченное как «тест», зависит от вашего аудио: устройств ваших пользователей, вашего набора контента, преобразований, которые распространены на вашей платформе. Небольшой размеченный тестовый набор отвечает на эти вопросы лучше, чем любые общие цифры.

Создайте тестовый набор

• Соберите реальные образцы по категориям. Выберите от 20 до 50 элементов для каждой важной для вас категории: чистые повторные загрузки, записи с телефона, музыка на фоне речи, ремастеры и правки, живые выступления, каверы, ускоренные клипы и чистый контент без музыки. По возможности используйте свои реальные загрузки.
• Разметьте ожидаемый ответ. Для каждого файла укажите исполнителя и название, которые вы ожидаете, или оставьте их пустыми, если совпадений быть не должно.
• Запустите набор и классифицируйте каждый результат как правильный, неверный трек, пропущенный или неожиданное совпадение. Сохраните оценки (план Startup и выше) для этапа калибровки оценок.
• Запускайте повторно при изменении входных данных: новый источник загрузки, новая категория контента, новый тренд преобразований.

Достаточно CSV-файла с полями path,category,expected_artist,expected_title:

Сопоставление названий по подстроке намеренно сделано гибким, так как версии часто имеют суффиксы вроде «Remastered» или «Radio Edit». Проверяйте строки wrong_track вручную; некоторые из них могут оказаться другой версией нужной записи.

Каждый файл стоит один запрос. Для полноразмерных файлов используйте сканирование через audd.recognize_enterprise(path, limit=...) и сравнивайте список совпадений; установите лимит, чтобы длинный файл не увеличил расходы.

Измерение качества сопоставления преобразованного аудио

Чтобы узнать, как ваше аудио ведет себя при ускорении, замедлении или изменении высоты тона, возьмите файлы из вашего тестового набора, которые хорошо распознаются, и создайте варианты с помощью ffmpeg:

Добавьте каждый вариант в CSV с ожидаемым исполнителем и названием оригинала, а также категорией, например rate_1.10, запустите описанный выше процесс и считайте процент совпадений для каждой категории. Этап, на котором совпадения начинают пропадать, является практическим пределом вашей платформы для данного преобразования. Используйте достаточное количество исходных треков (несколько десятков разных жанров), чтобы одна необычная запись не определяла результат.

Часто задаваемые вопросы

Распознает ли AudD каверы?

Нет. Кавер — это новая запись той же композиции, а AudD сопоставляет записи. Кавер совпадает только с самим собой, и только если эта запись кавера есть в базе данных.

Совпадет ли ремастер или радио-версия с оригиналом?

Она может совпасть как сама с собой или как другая версия того же трека. Это отдельные записи со своими идентификаторами, поэтому тестируйте те версии, которые вас интересуют, и не предполагайте, что ISRC при совпадении — это именно тот, который использовался.

Может ли AudD обнаружить музыку, созданную ИИ, или клоны голоса?

Нет. AudD не классифицирует аудио как созданное ИИ. Сгенерированная запись совпадает только в том случае, если эта конкретная запись есть в публичной базе данных или в вашем пользовательском каталоге.

Какую степень изменения скорости или высоты тона может выдержать распознавание?

AudD не публикует показатели допустимых отклонений. Вероятность совпадения снижается по мере увеличения изменений. Создавайте ускоренные, замедленные и измененные по высоте тона варианты треков, которые хорошо распознаются, и измеряйте процент совпадений на своем аудио.

Означает ли отсутствие совпадения, что в загрузке нет музыки, защищенной авторским правом?

Нет. Это означает, что не было найдено ни одной известной записи. Загрузка все еще может содержать каверы, интерполяции, преобразованное аудио, живые выступления или записи вне базы данных, поэтому рассматривайте отсутствие совпадения как «неизвестно», а не как «очищено».

Как распознать неизданную или библиотечную музыку?

Загрузите эти записи в пользовательский каталог. Доступ к пользовательскому каталогу предоставляется по запросу на support@audd.io, и совпадения с ним содержат audio_id, который вы привязываете к своим собственным записям.

• От совпадения к решению: политики разрешения, блокировки и проверки
• Публичная база данных против вашего пользовательского каталога
• Интерпретация оценки распознавания
• Аудиоформаты и качество для распознавания музыки
• Обнаружение сэмплов и повторное использование ваших собственных треков
• Глоссарий музыкальных прав и распознавания
• Справочник API