Нейросеть научилась создавать видео по текстовому описанию

Стартап Runway представил новую модель нейросети Gen-2, которая умеет создавать по тексту 3-секундные видеоролики.

Изначально она будет доступна в канале Runway в Discord. Желающим опробовать её нужно записаться в лист ожидания.

На вход модель может принимать как текст, так и картинки, а также и то и другое сразу. Есть опции стилизации видеороликов по картинке или текстовому описанию, масок — можно прописывать инструкции для модификации отдельных объектов на входном видео — и разные другие функции.

По соображениям безопасности и конкуренции выпускать новую систему во всеобщий доступ сразу не стали. Также, в отличие от Stable Diffusion, авторы не будут публиковать исходный код Gen-2.

Исследовательские работы по преобразованию текста в видео с помощью ИИ в прошлом году выложили Meta и Google. В Runway отмечают, что стали первыми, кто дал подобную модель в руки широкой публики. Разработчики надеются, что Gen-2 заинтересует создателей контента и кинофильмов.

Следить за развитием нейросетей вы можете в моем блоге по тегу ChatGPT или на канале в Дзен.