Meta’s Movie Gen Может создавать видео и аудио с помощью текстовых подсказок

Следующим естественным шагом в эпоху генеративного ИИ станет генерация видео, но это гораздо сложнее, чем просто генерировать изображения или текст. Movie Gen AI от Meta* хочет стать универсальным интерфейсом для создания видео, но он пока не доступен в открытом доступе.

Meta* анонсировала Movie Gen — новый набор моделей генеративного ИИ, которые могут создавать и редактировать видео и аудио с помощью текстовых подсказок. Сообщается, что эти модели превосходят аналогичные модели в отрасли и представляют собой значительный шаг вперёд в создании медиаконтента с помощью ИИ. Movie Gen позволяет создавать видео продолжительностью до 16 секунд на основе текстовых подсказок, а также создавать видео с участием конкретного человека на основе его изображения и текстовой подсказки. Вы также можете редактировать существующие видео с помощью текстовых подсказок, точно добавляя, удаляя или заменяя элементы. Вы даже можете создавать аудио длительностью до 45 секунд, синхронизированное с видеоконтентом, включая окружающий звук, звуковые эффекты и фоновую музыку для сгенерированных видео.

Создание видео — это то, над чем компания работала долгое время, и теперь эти усилия, наконец, приблизились к завершенному продукту. Meta* утверждает, что Movie Gen достигает самых современных результатов в нескольких областях, включая качество видео, персонализацию, точность редактирования и согласование аудио-видео. Компания приписывает эти достижения техническим инновациям в архитектуре моделей, данных для обучения и методах оценки. Компания стремится в конечном итоге сотрудничать с кинематографистами и создателями, чтобы гарантировать, что Movie Gen станет ценным инструментом для творческого самовыражения. Потенциальные области применения Movie Gen включают создание анимированных видеороликов для социальных сетей, создание персонализированных поздравлений и редактирование видео с помощью простых текстовых команд.

Meta* не дает нам реальной временной шкалы, когда мы могли бы ожидать увидеть это. Генерация видео с помощью искусственного интеллекта, в целом, сейчас находится на ранней стадии, и у нас нет таких продвинутых моделей, как модели изображений / текста в настоящее время. Это может измениться, если он выйдет в ближайшее время.

Источник: Meta*

Редактор: AndreyEx