Microsoft представила ИИ-систему генерации реалистичных видео на основе фотографии
Учитывая, что генеративный ИИ — ключевая особенность новых проектов Microsoft, неудивительно, что компания разрабатывает собственные модели машинного обучения. VASA-1 — один из таких примеров, где по одному изображению человека и аудиодорожке создается убедительный видеоклип, на котором этот человек говорит/поет/читает рэп.
Еще несколько лет назад контент, созданный с помощью генеративного ИИ, было легко распознать по разным факторам: количеству пальцев, ног и жутким глазам или некачественной анимации. Однако согласно новому отчету Microsoft, эти ошибки активно пропадают и исправляются благодаря последним разработкам.
VASA-1 — модель машинного обучения, которая превращает одно статическое изображение лица человека в реалистичный короткий видеоролик, основанный на аудиодорожке. Модель анализирует изменения тона и темпа речи, а затем генерирует последовательность новых изображений, где лицо изменяется в соответствии с речью.
Некоторые примеры от Microsoft поразительно хороши, другие — не очень, но ясно, что исследователи отобрали лучшие образцы для демонстрации достижений. Реальное видео в реальном времени показывает, что технология еще далека от совершенства в имитации реальности.
Однако тот факт, что все это было сделано ПК с RTX 4090, а не на суперкомпьютере, означает, что с доступом к такому ПО практически любой может создавать практически идеальные дипфейки. В отчете сказано:
Эта технология не предназначена для создания контента, вводящего в заблуждение, однако, как и другие связанные методы генерации, она потенциально может быть использована для выдачи себя за другого человека. Мы выступаем против любого подобного использования в отношении реальных людей и заинтересованы в применении нашей технологии для совершенствования методов обнаружения подделок.
Отчасти поэтому разработка Microsoft пока не доступна для использования. Правда, кто-то может воспроизвести результат и даже сделать его лучше уже в ближайшие месяцы.
- В превью-билде Windows 11 24H2 нашли аналог DLSS и FSR на базе ИИ
- Федеральная торговая комиссия США расследует инвестиции Microsoft, Amazon и Alphabet в ИИ-стартапы
- СМИ: Новые Microsoft Surface с упором на ИИ представят 21 марта