OpenAI представила нейросеть для генерации видео по текстовому запросу

Модель называется Sora, сообщается на сайте компании. Она позволяет пользователям создавать фотореалистичные видеоролики длиной до минуты на основе написанных ими инструкций. Нейросеть также может генерировать видео на основе изображений, заполнять недостающие кадры в существующем ролике или расширять его. ИИ-помощник понимает не только то, что человек запрашивает в подсказке, но и то, как эти вещи существуют в физическом мире.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

Как отметил старший специалист по ИИ в NVIDIA Джим Фан, «Sora не просто игрушка для творчества, а полноценный физический движок со сложным рендерингом. Это симулятор множества миров, реальных или фантастических. Она не просто генерирует отдельную фотографию или видео, а определяет физику каждого объекта в окружении,  и на основе этих расчетов создает фотографию или видео (или интерактивный 3D-мир, в зависимости от ситуации). Я не удивлюсь, если Sora обучается на большом количестве синтетических данных с помощью Unreal Engine 5» (игровой движок от Epic Games – прим. Digital Business).

Prompt: “A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually.… pic.twitter.com/cjIdgYFaWq

— OpenAI (@OpenAI) February 15, 2024

Пока Sora доступна только «красным командам» – организациям, которые оценивают модель на предмет потенциального вреда и рисков. OpenAI также предлагает доступ некоторым художникам, дизайнерам и режиссерам, чтобы получить обратную связь. Компания отмечает, что существующая версия «может испытывать трудности с точным моделированием физики сложной сцены и неправильно интерпретировать некоторые случаи причинно-следственных связей».

Prompt: “Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. the art style is 3d and realistic, with a focus on lighting and texture. the mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with… pic.twitter.com/aLMgJPI0y6

— OpenAI (@OpenAI) February 15, 2024

Читайте также: «Видим, что можем стать конкурентными в США». Казахстанцы создали сервис Video GPT, который поможет бизнесу больше зарабатывать