Новый алгоритм создает видео из текста

Новый алгоритм создает видео из текста

Система машинного обучения, созданная американскими учеными, сама создает видеоролики на основе скрипта — короткого текстового описания. Подобная техника может однажды найти применение, например, в раскрытии преступлений, помогая свидетелю восстановить увиденное. Доклад о разработке был представлен на собрании Ассоциации содействия развитию искусственного интеллекта в Новом Орлеане, кратко его тезисы пересказывает сайт журнала Science, работу можно прочитать на сайте Ассоциации развития искусственного интеллекта.

В работе нейросети фактически имитируется процесс создания человеком видеоролика. На первом этапе в том или ином виде существует текст, передающий суть, а на втором появляется видеокартинка. Нейросеть тренировали на парах соответствий текст-видео: например, показывали, как выглядит «парусник, плывущий в море».

Всего исследователи обучили алгоритм на различение 10 типов сцен, включая «поиграть в гольф в бассейне» и «кайтсерфинг на море». Сеть научилась определять соответствующее описанию видео, а потом и генерировать соответствующее. Она также оказалась способна генерировать видео на бессмысленные действия, такие как «плавание на снегу» и «играть в гольф в бассейне».

Видео, создаваемое нейросетью, на данный момент длится лишь 32 кадра, приблизительно 1 секунду, и размером с почтовую марку, 64 на 64 пикселей. Но дальнейшее совершенствование приведет к развитию технологи и применению во множестве сфер.

Иллюстрация к статье: Яндекс.Картинки
Самые свежие новости медицины на нашей странице в Вконтакте

Оставить комментарий

Вы можете использовать HTML тэги: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>