Вы можете использовать API распознавания музыки AudD для идентификации песен, которые ваши пользователи загружают для создания видео (или любых других аудиофайлов, которые они вам отправляют). Это привычное распознавание музыки, которое работает как Shazam: вы отправляете нам фрагмент файла, а мы возвращаем вам исполнителя, название, альбом, дату релиза, лейбл и ссылку на песню менее чем за 2 секунды. Это может быть полезно для генераторов музыкальных видео на базе ИИ, аудиовизуализаторов, промо- и соцсетевых нарезок для артистов и т. д.

Мы хотели сделать интеграцию максимально простой: вы отправляете нам фрагмент загруженной песни, а мы присылаем метаданные для заполнения проекта. Если вы также генерируете музыку и хотите проверить её перед тем, как отдать пользователю, вы можете отправить сгенерированные треки тем же способом. Если песни, которые вы хотите распознать, принадлежат вам (например, стоковая библиотека, которую вы лицензируете пользователям, или песни, созданные на вашей платформе), см. раздел «Пользовательский каталог» ниже.

Как это использовать:

1. Вырежьте фрагмент из загруженной песни

Стандартная точка входа (POST https://api.audd.io/) анализирует первые 12 секунд отправленного вами аудио. Обратите внимание, что многие песни начинаются с тишины, отсчета или тихого вступления; поэтому просто вырежьте 15 секунд где-нибудь с 30-й секунды и отправьте их (код внизу этой страницы делает это и обрабатывает более короткие песни). Максимальный размер файла составляет 10 МБ; 15 секунд аудио обычно занимают менее одного мегабайта, так что об этом можно не беспокоиться.

Кстати, если вы хотите распознать все песни в длинном файле (миксе, попурри), используйте корпоративную точку входа: она считает 1 запрос на каждые 12 секунд аудио и поддерживает файлы продолжительностью в несколько дней. Установите лимит во всех запросах к ней.

2. Отправьте файл и заполнитe проект

Существует два способа отправки аудио в AudD. Вы можете отправить сам файл в параметре file или URL-адрес, с которого сервер сможет его загрузить, в параметре url. Каждый вызов засчитывается как один запрос.

Если есть совпадения, вы получите результат, который всегда содержит поля artist, title, album, release_date, label и song_link. Если сервер успешно обработал запрос, но совпадений нет, поле result имеет значение null. Используйте эти поля для заполнения проекта, чтобы пользователю не приходилось вручную вводить название и исполнителя.

3. Получите обложку и жанр

song_link ссылается на страницу песни на lis.tn, например lis.tn/Warriors. В качестве обложки вы можете просто использовать song_link с параметром ?thumb, например https://lis.tn/Warriors?thumb. Мы возвращаем ту же ссылку в SDK как thumbnail_url / thumbnailUrl. Это может быть полезно в качестве референсного изображения, для создания цветовой палитры и т. д.

Параметр return предназначен для дополнительных метаданных, которые вы хотите получить. Отправьте return=apple_music, и в результате появятся данные Apple Music в поле apple_music, включая genreNames (например, ["Alternative", "Music"]). В SDK нет поля genreNames, оно находится в model_extra (Python) или extras (Node). Каждый провайдер добавляет некоторую задержку к запросу, поэтому не запрашивайте метаданные, которые вам не нужны. Мы не можем гарантировать, что все поля заполнены для каждой песни; позвольте пользователю изменять метаданные.

4. Определите, чей это трек

Многие из ваших пользователей — это артисты, создающие видео для собственных песен; другие загружают понравившиеся композиции. Если пользователь загружает песню, которая является изданной записью, совпадение укажет на это. Такие совпадения генерируются, когда отправленный вами фрагмент совпадает с записью (или частью записи) в базе данных AudD. Чтобы отличить собственный релиз пользователя от чужого, сравните исполнителя в совпадении с собственным именем артиста пользователя (например, из подключенного профиля артиста); пример внизу этой страницы демонстрирует, как это делается.

В зависимости от ситуации у вас есть несколько вариантов действий при получении результата:

Если совпадение принадлежит собственному артисту пользователя:

Ничего не делать: если песня является собственным релизом пользователя, вы можете предзаполнить проект и оставить его как есть. Пользователь также сможет изменить поля позже.

Если совпадение принадлежит другому артисту:

Запросить разрешение: если пользователь подтверждает, что он может использовать запись, вы можете продолжить работу в обычном режиме.
Заблокировать экспорт: вы можете заблокировать экспорт, что означает, что пользователь не сможет опубликовать видео с этой песней. Экспорт может быть заблокирован для всех или только для тех пользователей, которые не подтвердили разрешение.

Если в совпадении присутствует audio_id:

Оно принадлежит вашему пользовательскому каталогу: см. ниже.

Если же мы не распознали песню (она неизданная, сгенерированная, является кавером или мы её просто не знаем), это не значит, что песня юридически чиста — обязательно уточните это у пользователя.

Является ли совпадение проблемой для пользователя? Вероятно, нет. Совпадение обычно означает, что мы нашли в загруженном файле запись, которая принадлежит кому-то другому. Правообладатели решают, могут ли другие люди повторно использовать их записи; AudD лишь определяет, что это за запись. YouTube позволяет правообладателям блокировать видео, содержащие принадлежащую им запись. Они также могут разрешить видео остаться с рекламой; в таких случаях рекламный доход достается правообладателям, а не вашему пользователю. TikTok и Instagram вместо этого отключают звук в видео. Если пользователь публикует видео с коммерческой записью без разрешения, правообладатель может потребовать от платформы отключить звук или удалить видео. Поэтому лучше предупредить пользователя до рендеринга.

Что еще я могу сделать?

Проверьте сгенерированное аудио

Если вы также генерируете музыку, вы можете использовать ту же точку входа в качестве фильтра для сгенерированных треков. Если мы распознаем песню в сгенерированном треке, значит, в нем присутствует изданная запись, и вы, вероятно, не захотите отдавать ее пользователю. Обратите внимание: если мы ничего не распознаем, это не значит, что трек оригинальный. Мы распознаем записи с помощью нашей технологии создания аудиослепков, а стилизация под оригинал, пастиш или новое исполнение существующей песни — это другая запись. Примечание: AudD не является подходящим инструментом для обнаружения музыки, созданной ИИ, а также для анализа битов, частей трека или настроения! AudD превосходно распознает изданные записи при наличии умеренного уровня шума; песня, созданная ИИ и выпущенная через дистрибьютора, является такой же изданной записью, как и любая другая, и мы ее распознаем. Посмотрите, какие совпадения при распознавании выдаются.

Распознавайте ваши собственные песни

Если вы хотите распознавать музыку среди ваших собственных песен (стоковая библиотека, которую вы лицензируете пользователям, или песни, созданные на вашей платформе), вы можете загрузить их в пользовательский каталог. Загруженные вами песни будут доступны для распознавания только вам, после чего все ваши запросы на распознавание будут сопоставляться как с вашим каталогом, так и с нашей музыкальной базой данных. Вы устанавливаете audio_id для каждой загружаемой песни и получаете этот ID обратно с результатами распознавания; именно так можно отличить песню, созданную на вашей платформе, от сторонней загрузки или проверить, по какому тарифу была лицензирована библиотечная песня. Кроме того, любые песни, которые вы загрузите в каталог позже, также получат аудиослепки и будут добавлены в вашу частную базу данных. Это предназначено для поддержки системы, при которой новые песни, создаваемые на вашей платформе, получают аудиослепки и добавляются в каталог автоматически без каких-либо ручных действий. Доступ к пользовательским каталогам по умолчанию не предоставляется; свяжитесь с нами: [email protected].

Обратите внимание

Распознавание занимает менее 2 секунд, поэтому вы можете выполнить его сразу после загрузки, перед первым предварительным просмотром. Отправляйте запросы со своего сервера и не включайте свой API-токен в клиентское программное обеспечение. Если запрос не удался, просто позвольте пользователю заполнить поля.

Ваши пользователи загружают песни перед релизом. Убедитесь, что ваши условия обслуживания и политика конфиденциальности разрешают отправку загруженных файлов в службу распознавания музыки, и сообщите об этом пользователям.

У нас нет ограничения на количество запросов (rate limit) для стандартной конечной точки. Свяжитесь с нами, если вы планируете масштабный запуск или резкий рост нагрузки: [email protected]. Цены указаны на audd.io/pricing.

Пример кода

Вот пример на Python, который вы можете использовать для справки: он вырезает отрывок, распознает его и заполняет проект.

SDK для Python, Node и еще 9 языков находятся на docs.audd.io/sdks (pip install audd, npm install @audd/sdk). Если совпадений нет, метод распознавания возвращает None / null / nil.