文字直接转视频，科学家用机器学习算法实现这种操作

2018-02-27 11:13

近日,《Science》杂志公布了一项新的机器学习算法,该算法可根据文本或者碎片式的信息来重建完整的视频,如根据证人描述重现事故现场。

据了解,该算法是一种小型神经网络,即一系列小型计算元素层。其主要的工作分为两个阶段:一是通过文本生成视频的“主旨”,即一个模糊的背景图片上加注一些重要的标注;二通过综合“主旨”和文本内容产生一个短视频。此外,在训练过程中,第二部分的网络会对新增加的视频内容进行反复的对比,以提升性能。

目前,研究人员采用了十种生活场景对其训练,包括在草地上打高尔夫、在海上玩风筝冲浪等,算法生成的图像还比较粗糙,呈现VHS录像的颗粒感画面。现在,可达到高准确率的视频约为32帧,持续时间为1秒,大小为64×64像素。研究人员之一,杜克大学的计算机科学家Yitong Li解释道,“更高的分辨率会降低其准确度。”

虽然当前算法生成的视频尚十分粗糙,但是这项研究实现了文本直接转视频技术上的质的飞跃。“这是一个非常难的问题,而他们的方法非常有趣,只要两个阶段。所以,对于他们现在取得的成就和突破,我感到非常高兴。”马里兰大学计算机科学家Hamed Pirsiavash评价道。

比利时鲁汶大学计算机科学家Tinne Tuytelaars也对此赞不绝口:“这是我所知道的第一部如此棒的文字转视频作品,它不完美,但至少看起来像是真正的视频。这真的很好。”