Музыкальный ИИ MIT способен определять инструменты и изолировать их звук

Пожалуй, почти все из нас хотя бы раз в жизни перематывали один и тот же музыкальный трек десятки или даже сотни раз, пытаясь расслышать отдельные части композиции. Если вы тоже занимались этим, пытаясь разучить интересный аккорд или мелодию, то новый ИИ от Массачуссетского технологического института (MIT) будет для вас приятным сюрпризом.

ИИ PixelPlayer, разработанный в лаборатории компьютерных наук и искусственного интеллекта, способен не только распознавать инструменты по одному видео, но также обладает возможностью изолировать звук, который они производят. 

К примеру, если в одном видео несколько инструментов играют одновременно, то PixelPlayer позволяет выбрать нужный и послушать его без посторонних. 

Для создания такого ИИ команда применила технику глубокого обучения, загружая более 60 часов видео. Результаты пока не идеальные — ИИ способен определять пока лишь 20 инструментов, и есть проблемы разделения похожих. Однако в будущем такой ИИ может стать незаменимым и эффективным инструментом редактирования аудио, открывая путь по улучшению или восстановлению старых видео-записей. Кроме того при помощи ИИ можно учить роботов распознавать различные звуки окружающей среды.