ElevenLabs создает универсальный ИИ для дублирования
После того как Disney выпускает новый фильм на английском языке, компания приступает к его локализации на 46 языках, чтобы сделать продукт доступным для как можно более широкой аудитории. Это колоссальная задача, для решения которой у Disney есть целое подразделение — Disney Character Voices International Inc. Естественно не стоит рассчитывать, что Крис Пратт вернется в студию дублирования, чтобы озвучить свои реплики из "Стражей Галактики III" на исландском и свахили — каждая версия звучит несколько иначе благодаря местным актерам озвучивания. Однако с новой системой ИИ для дублирования от ElevenLabs мы вскоре сможем получить почти точное воссоздание голоса Пратта, независимо от языка, который звучит на экране.
ElevenLabs — это стартап в области искусственного интеллекта, предлагающий услугу клонирования голоса, позволяющую подписчикам создавать практически идентичные вокализации с помощью ИИ, основанные на загрузке нескольких минут аудиообразцов. Неудивительно, что как только функция была запущена в бета-версии, ее тут же использовали для имитации голосов знаменитостей, порой без их предварительного знания и согласия.
Новая функция ИИ для дублирования делает по сути то же самое — на более чем 20 различных языках, включая хинди, португальский, испанский, японский, украинский, польский и арабский — но законно и с разрешения. Этот инструмент предназначен для использования медиакомпаниями, преподавателями и интернет-инфлюенсерами, у которых нет финансовых возможностей Disney для финансирования своих глобальных адаптационных усилий.
ElevenLabs утверждает, что система сможет не только перевести "устный контент на другой язык за несколько минут", но и сгенерировать новый устный диалог на целевом языке с использованием голоса актера. Или, по крайней мере, создать его ИИ-вариант. Сообщается, что система даже способна сохранять "эмоциональность и интонацию" существующего диалога и переносить их на созданный перевод.
"Это поможет зрителям наслаждаться любым контентом, который они хотят, независимо от языка, на котором говорят," — сказал генеральный директор ElevenLabs Мати Станисжевски в пресс-релизе. "И это означает, что создатели контента смогут легко и убедительно донести свои идеи до гораздо более широкой аудитории по всему миру."
- Крупнейшая карта Call of Duty доступна в открытом доступе для развития ИИ
- Глава Nvidia о будущем ИИ: "Нам понадобятся три компьютера"
- Instagram начал тестировать ИИ-бота для общения создателей контента с подписчиками
25 комментария
Блин, а я пару месяцев назад писал, что локализации могут перейти на нейросети как раз с точки зрения того чтобы на основе голоса оригинального актера перевести на другие языки. Это прям логичная идея.
@TanatosX, и актера только одного можно использовать, сокращение расходов просто в сотни раз
@TanatosX, вот только как поступать с идиомами? Переводчики до сих пор их не воспринимают
@Nolalot, переводить вручную
@Prywek00, Дык я о чем и говорю, Этож какая экономия для жадных корпораций)
@Nolalot, chatGPT уже начинает уметь в идиомы, к 5 версии вообще будет лучше людей их переводить. За шестую версию вообще молчу, а ведь будет и 7, 8 и т.д.
@Lazer, как переводчик, который работает с chatGPT не соглашусь. Со многими популярными идиомами и переводчики уже способны справиться, тот же reverso или яндекс. А вот по поводу лучше людей. Что значит лучше? Человек или знает идиому или нет, если он её не знает, он смотрит её в словаре и даёт по контексту. Я не уверен, что здесь уместны категории хуже или лучше. Сможет ли нейросеть это делать лучше? Хз. Быстрее? Вот тут 100%.
Плюс не стоит забывать, про дубляж, например, перевод бывает разный. Пока проблема сеток в том, что они формируют перевод не удобный для восприятия, хоть и технически правильный. Я работаю в том числе с озвучкой и каждый текст для этого придётся подгонять ручками, я ради интереса пробовал использовать тот же chatGPT, но выяснилось, что быстрее и проще перевести руками, чем всё редактировать, а редактировать правда приходится почти всё.
Интересно, бунт актеры озвучки будут подымать или только в РФ такое?
@JojoGogo, Так недавние забастовки актёров и сценаристов в США, в том числе, были связанны с проникновением в индустрию искусственного интеллекта. Сейчас ИИ в этой сфере вообще никак не регулируется, это всеобщая проблема.
Лицо локализаторов имаджинируйте
полагаю к 30-35 году многие останутся без работы) с такой-то тенденцией внедрения ИИ)))
@HighVoltage, уже остаются,
в индии вон один 100% сотрудников колл-центра заменил на нейросеть, дескать вопросы она решает не два часа, а две минуты и одна работает за тыщу человек.
Думаю через год уже придумают "виртуального депутата" (кстати может и Жириновского как хотели) который сможет сотню их там заменить. Осталось только к автомобилям ИИ "прирулить" и тогда нас ждёт не "восстание машин", а восстание волосатых взрослых мужиков с геморроем и остеохондрозом, которые порушат и автомобили, и ИИ-кассы (которые их жён прежде работы лишили) и всё прочее (кроме ИИ-Жириновского), ибо гос-во скорее всего не придумает чем им заниматься.
@Bahron,
Ого, вы прямо покусились на самое святое. :) Поверьте, этих присосавшихся паразитов ничто никуда не сможет убрать, только армагеддон.
Мне вот интересно, если всех людей уволят, значит ни у кого не будет денег и каким образом этот бизьнисьмен будет зарабатывать себе на хлеб если ни у кого в округ не будет денег, чтобы покупать его продукт/услугу, ведь он сам всех уволил. Люди несут свои деньги в магазин или парикмахеру по тому, что им их платят на их работе, если всех уволят, то и бизнеса не станет. Государств тоже не станет, потому что основная их задача это высасывать деньги из населения.
@Fortuna, да,
на такое нам отвечают: "исчезнет всё,
да не всё".
@Bahron,
Кажется самое время вкладывать в коммерческую недвижимость, хотя если корпы будут экономить дофига денег они скорее начнут строить новые помещения)))
@Fortuna,
Ну так будут такие же подобные богатеи)
Надеюсь в скором времени будет закон по регулированию ИИ иначе это выйдет боком для многих
@HighVoltage, В смысле богатеи? Не совсем понял. Если они(эти богатеи) никому не платят деньги, то в чем их богатство?
@Fortuna, Ну в смысле будет тот "золотой" миллион богатых, они же друг у друга что-то будет скупать же? просто цена будет аховая, потому что только они и остались
@HighVoltage, Вот тут сложность, деньги это оценка человеческого труда, если никто не трудится и не получается оплату за труд, то стоимость денег сразу теряется. Невозможно оценить услугу или продукт, если в нем нет оплаченного человеческого труда. Это как яблоко, которое висит на дереве, не имеет стоимости, пока человек не подойдет и не сорвет его, он затратит на это свои силы и готов отдать это яблоку другому, если тот вознаградит его труд. Если яблоки будут срываться предположим роботами, то они не будут иметь стоимости, потому что в них нет человеческого труда. То же самое и со всем остальным, написание картин, музыки, создание автомобилей, чего угодно, все потеряет стоимость если в нем не будет человеческого труда. Деньги превратятся в фантики.
@Fortuna, Факт, вопрос в том что будет валютой в такой ситуации, труда нет, всё делается роботами и всё это принадлежит богатым, ну и остались только они, цена же всё равно в итоге будет, разве нет?
@HighVoltage, В том-то и дело, что не будет богатых. Богатство это материализованный отобранный труд работника. Иными словами, человек произвел 10 гаек, но оплату получил за 3 гайки, остальные 7 гаек ему не оплатили, вот на этих 7 гайках и появились богатые, которые присвоили себе чужой неоплаченный труд. Если труда нет, то и некому его присваивать, нет больше богатых, не у кого отнимать его труд, так как никто не работает.
Если все будут делать роботы, то все это не будет иметь стоимости. Ты можешь хоть 100 майбахов себе поставить, увешаться ими с ног до головы, но на такого человека будут смотреть как на сумасшедшего, потому что каждый сможет себе получить майбах, так как у него нулевая стоимость. Дом стоит 0 рублей, еда стоит 0 рублей, автомобиль стоит 0 рублей. Где тут могут появиться богатые, им не на чем богатеть, потому что все что есть у них может быть и у других.
@Fortuna, Да, но как же нюанс того, что корпы изначально будут владеть тем или иным, множество людей будет нищими да и вымрет, на тот момент цены будут, деньги будут, только это либо дорого будет либо бесплатно(что сомнительно цену навяжут так или иначе), а в итоге то что останется не ясно как крутанет, в целом сложно об этом рассуждать в данной точке. Тут будет утопия или антиутопия
@HighVoltage, Переходный период будет самый сложный, но если на самом первом этапе такого перехода будет решен продовольственный вопрос, то ничего координального не случится, как мне кажется. У людей будет бесплатная еда(произведенная роботами), то остальные проблемы постепенно урегулируются.
@Fortuna, а роботы, их , создание и обслуживание и усовершенствование по-твоему тоже стоит 0 долларов?
@Ruiz, Если роботы сами себя собирают и сами себя обслуживают, то естественно.
Там уже есть наработки всего вышесказанного плюс ещё липсинк. Смотришь такой какой-нибудь сериальчик, типа Во все тяжкие, а там мало того что актеры говорят своими голосами только по-русски, так у них ещё и губы подогнаны. На текущий момент это смотрится кринжово, но представьте себе потенциал. Нейронки смогут делать одновременно перевод+голос+липсинк, если ещё заставить все это работать в рилтайме, то получится технология перевода из лора mass effect наяву. Это полностью сотрёт языковые границы.