Музыкальный ИИ MIT способен определять инструменты и изолировать их звук

Музыкальный ИИ MIT способен определять инструменты и изолировать их звук

Пожалуй, почти все из нас хотя бы раз в жизни перематывали один и тот же музыкальный трек десятки или даже сотни раз, пытаясь расслышать отдельные части композиции. Если вы тоже занимались этим, пытаясь разучить интересный аккорд или мелодию, то новый ИИ от Массачуссетского технологического института (MIT) будет для вас приятным сюрпризом.

ИИ PixelPlayer, разработанный в лаборатории компьютерных наук и искусственного интеллекта, способен не только распознавать инструменты по одному видео, но также обладает возможностью изолировать звук, который они производят. 

К примеру, если в одном видео несколько инструментов играют одновременно, то PixelPlayer позволяет выбрать нужный и послушать его без посторонних. 

Для создания такого ИИ команда применила технику глубокого обучения, загружая более 60 часов видео. Результаты пока не идеальные — ИИ способен определять пока лишь 20 инструментов, и есть проблемы разделения похожих. Однако в будущем такой ИИ может стать незаменимым и эффективным инструментом редактирования аудио, открывая путь по улучшению или восстановлению старых видео-записей. Кроме того при помощи ИИ можно учить роботов распознавать различные звуки окружающей среды. 

5 Комментариев

  • SNK2012
    Комментарий скрыт. Показать

    В теории, если это попадет в открытый доступ, эту нейросеть можно будет использовать для создания дубляжа в любительских озвучках сериалов, убирая оригинальную речь...

    5
  • SERG__ZV
    Комментарий скрыт. Показать

    О круто, хорошая технология если хочешь удалить из песни лишние шумы или вообще все слова оставив музыку для караоке)

    3
  • IamNexi
    Комментарий скрыт. Показать

    А однажды ИИ будет делать полный разбор оркестровых ям...вот заживем. =)

    1
  • Комментарий скрыт. Показать

    Можно не только очищать старые записи или получать треки из композиций, но и делать сэмплы голосов любых людей, и на их основе озвучивать все что угодно, например голоса уже умерших людей для дубляжа фильмов, новой музыки и т.д., что может вызвать вопросы об этике и правах на голос у копирастов

    1
  • Fortuna
    Комментарий скрыт. Показать

    Скоро ИИ все за нас делать будет, а платить будут зарплату тем, кто еще не обленился давать приказы ИИ :))

    1
Войдите на сайт чтобы оставлять комментарии.