机器视觉课题组

模式识别国家重点实验室

中国科学院自动化研究所

手机上的增强现实

(本项目由芬兰诺基亚研究院资助)

应用背景

人机交互的发展经历了几个阶段:1)早期的手工作业阶段;2)作业控制语言及交互命令语言阶段;3)图形用户界面阶段;4)网络用户界面阶段;5)多通道、多媒体的智能人机交互阶段。三维人机交互是智能化的人机交互方式,就是通过最自然的交互方式(人体姿态、手势等)对计算机生成的虚拟3D场景进行控制,要达到这一目的,其核心是对人体运动进行准确的三维跟踪,同时实时计算出摄像机的的空间位置。

部分实验结果

图1所示为对人体头部进行实时跟踪和三位姿态估计的结果,跟踪的场景包括(a)动态背景;(b)尺度变化;(c)快速运动;(d)遮挡等。图2演示了通过跟踪人体头部姿态在一个虚拟的3D场景中进行漫游。通过定义一些简单的姿态还可以达到高机交互的目的,比如本系统中,旋转头部就可以对场景进行放大和缩小的操作。

 

图1 头部三维跟踪

 

图2 通过头部三维跟踪进行场景3D漫游