【猎云网(微信号:ilieyun)】6月20日报道(编译:罗伯特)
现在,各大厂商的旗舰手机相继配备了具备AR深度追踪的摄像头;所以,是时候计算机也开始改进他们的动作追踪技术了。近日,相关人员研发了一种新的机器视觉系统,能够“脱掉”人们的衣服,直接看穿他们的动作。虽然听起来还蛮吓人的,但是它的确有一定的用途。
在电影或AR游戏等场景里,由于人们通常穿着衣服,所以系统捕捉他们的动作时,会有一种模糊感;这是现有技术面临的最基本问题。这也就是为什么那些动作演员要紧身衣的缘故。
裙子、背包、夹克等身外物同样会对动作捕捉造成一定的影响。简单来说,除非你裸奔,否则电脑无法非常准确地捕捉到你的身体动作。
这一“透视”技术将会在盐湖城的CVPR活动上进行展示,其将深度数据与智能假设想结合,能够预测身体的构成和动作。通过类似于X射线的视觉系统,该技术能够透视衣着下的人类身体动作。即使实验对象正在进行跳舞之类的高速运动,这一技术也同样有效。
这一技术是建立在两种已有的解决方案上,即动态融合(DynamicFusion)和身体融合(BodyFusion)。前者通过单摄像机的深度数据,预测人体的定点动作,但其无法在高速运动或是有遮挡物的情况下运行;后者主要运用的是人体的骨骼数据,但在高速运动的条件下仍会失真。研究人员主要是结合了这两种解决方案,打造一种“双融合”技术(DoubleFusion),从深度数据中创建了一个人体骨骼,然后进行距离收缩,为其覆盖上一层皮肤。
如上图所示,其对应的分别是动态融合、身体融合,以及双融合。
结合后的技术方案会比任何的单一方案都要出色。
连帽衫、耳机、宽松的大衣…无论你穿什么,都无法逃出双融合技术的视线。
但是,这个技术仍有短板。当一个人穿了很多衣服的时候,系统没办法分辨这个人到底是肥胖,还是衣着过多;另外,如果一个人与单个物体接触时(比如桌子,或是游戏遥控器),系统也没办法识别,其可能会认为你的手脚特别长。团队计划会在未来解决这些问题。
这项技术论文的第一作者是来自清华大学的陶宇(音译Tao Yu),北航、谷歌、南加州大学也参与了开发研究。
作者在论文结语中写道:“我们相信,我们这一方案的鲁棒性和准确性将使许多应用成为可能,尤其是在AR/VR、游戏、娱乐等领域。通过双融合技术,用户将能够真正地第一次把自己彻底数字化。”