机器视觉课题组

模式识别国家重点实验室

中国科学院自动化研究所

2D电影的3D转换

(本项目由国家自然科学基金资助)

应用背景

近些年来,3D电影逐渐普及,成为人们日常娱乐生活的重要部分。相比如传统2D电影,3D电影可以提供更加身临其境的逼真效果。然而直接将电影拍摄为3D格式需要昂贵的双目摄像设备,同时拍摄时对拍摄技巧的要求很高。同时,如何将现有的大量现有的2D电影转换为3D格式也是许多电影公司的迫切需求。因此,研究如何将2D影片自动转换为3D格式得到了产业界的高度关注。 

什么是3D电影

所谓3D电影,就是将影片画面中的深度信息进行适当的表达,通过在拍摄过程中使用双目摄像机,或者在传统摄像机后处理中虚拟两个镜头,通过立体视觉的方法恢复出场景的深度信息,最后使用专用投影设备并佩戴特制眼睛,观众就可以观看到电影的三维效果了。

图1 双目视觉原理

3D电影的基本原理是双目视觉,如图1所示。两台内参数相同的相机平行放置,摄像机中心沿x方向水平距离为B(在3D电影拍摄中,B为64mm,这一距离与人眼瞳孔间距相等)。图像平面I1和I2平行,一个空间点P在两幅图像上的投影分别为Pl和Pr,因此此时空间点P在图像上的视差为D=Pl-Pr,当P的距离越远,D越小,反之P越近则D越大。

部分3D结果

根据摄像机和场景的运动性质,2D电影的3D转换分为4类:

  1. 摄像机运动,同时场景中至少一个物体运动;
  2. 摄像机不动,同时场景中至少一个物体运动;
  3. 摄像机不动,场景也不动;
  4. 摄像机运动,场景不动。

目前我们开发的系统主要针对上述第4种情况。我们提出了一种基于Structure from Motion的方法进行电影3D转换,下图为部分实验结果。(需佩戴红蓝眼镜观看3D效果)

     

     

图2 部分3D图片(需佩戴红蓝眼镜观看)