Meta’s Movie Gen Может создавать видео и аудио с помощью текстовых подсказок

Следующим естественным шагом в эпоху генеративного ИИ станет генерация видео, но это гораздо сложнее, чем просто генерировать изображения или текст. Movie Gen AI от Meta хочет стать универсальным интерфейсом для создания видео, но он пока не доступен в открытом доступе.

Meta анонсировала Movie Gen — новый набор моделей генеративного ИИ, которые могут создавать и редактировать видео и аудио с помощью текстовых подсказок. Сообщается, что эти модели превосходят аналогичные модели в отрасли и представляют собой значительный шаг вперёд в создании медиаконтента с помощью ИИ. Movie Gen позволяет создавать видео продолжительностью до 16 секунд на основе текстовых подсказок, а также создавать видео с участием конкретного человека на основе его изображения и текстовой подсказки. Вы также можете редактировать существующие видео с помощью текстовых подсказок, точно добавляя, удаляя или заменяя элементы. Вы даже можете создавать аудио длительностью до 45 секунд, синхронизированное с видеоконтентом, включая окружающий звук, звуковые эффекты и фоновую музыку для сгенерированных видео.

Создание видео — это то, над чем компания работала долгое время, и теперь эти усилия, наконец, приблизились к завершенному продукту. Meta утверждает, что Movie Gen достигает самых современных результатов в нескольких областях, включая качество видео, персонализацию, точность редактирования и согласование аудио-видео. Компания приписывает эти достижения техническим инновациям в архитектуре моделей, данных для обучения и методах оценки. Компания стремится в конечном итоге сотрудничать с кинематографистами и создателями, чтобы гарантировать, что Movie Gen станет ценным инструментом для творческого самовыражения. Потенциальные области применения Movie Gen включают создание анимированных видеороликов для социальных сетей, создание персонализированных поздравлений и редактирование видео с помощью простых текстовых команд.

Meta не дает нам реальной временной шкалы, когда мы могли бы ожидать увидеть это. Генерация видео с помощью искусственного интеллекта, в целом, сейчас находится на ранней стадии, и у нас нет таких продвинутых моделей, как модели изображений / текста в настоящее время. Это может измениться, если он выйдет в ближайшее время.

Источник: Meta