【猎云网北京】1月22日报道(文/赵子潇)
在1月15日猎云网(微信:ilieyun)主办的沙龙“AR/VR淘金如何布局”中,七鑫易维联合创始人彭凡现场讲述了公司的核心技术——眼球追踪(eye tracking)在VRAR上的应用。
彭凡介绍,眼球追踪可以应用在医疗、眼动分析、智能手机和VR/AR四大领域,在VR/AR中又有眼控交互、焦点渲染、畸变修正三个环节。
以下是猎云独家整理彭凡演讲实录,有改动:
简单说下什么是眼球追踪,眼控技术是通过传感器捕捉用户眼中的图像,提取眼球的特征,计算出四轴和你注视点的位置。这个技术目前用的最多的是给残疾人,霍金这样的渐冻人用眼睛来打字,包括在广告领域做焦点分析,热力图等等。
我们的技术有三大优势,首先是成本低,因为我们用的是单传感器的方案。国外有双传感器的公司,通过两个摄像头实现eye tracking技术,我们只需要一个。用一个传感器有很多难点,比如说用户的自由头动,当用户在做眼球的追踪技术时候,头部会一直在空间内变化位置,需要解决头动的问题。
我们主要是把这个技术应用在四个领域,前面三个可能跟VR没有关系,是医疗、眼动分析和智能手机。
eye tracking技术在国外挺多的,但是在国内有这种技术的公司不多,互联网公司像百度、腾讯也都有这种设备,广大的互联网公司还没有普及。因为这个设备很贵,一套要二三十万到上百万。我们会提供一个全平台的SDK,也会把眼控仪的硬件在未来做得很便宜。
说到VR,一些硬件大家都很熟了,都是目前最有代表性的公司产品。眼球追踪可能是VR或者AR里面很关键的一个点,虽然现在大家还没有用。是因为技术还在不断提升,他还会面临一些功耗等问题,当然这些问题会随着产业链发展在一两年内就能解决。那么它在VR中到底有什么作用呢,首先就是很自然的交互作用。大家会看到所有的VR产品都是基于手上有一个遥控器,没有遥控器怎么办,头动,基于头部移动的陀螺仪来实现。
在人真实的视觉体验里面,我们每个人看东西首先是用眼,当你的眼睛已经看不到的时候,才会选择去动头。所以我们现在的VR公司给大家呈现的交互技术是因为眼球技术没有办法做进去。当眼球追踪技术能做进去的时候,大家就会相信在一定的视觉范围内,你所选择的每一个菜单每一个图标都应该是用eye tracking去做的。这只是其中一个功能吧,还有一个是Oculus等整个VR圈最近在说的注视点渲染。今天Oculus给大家呈现的左右眼2K屏的渲染,全球只有少数电脑能满足,而且有人说Oculus给大家的视觉体验还是不够完美,至少没有真实的视觉清晰度。直接一点的解决办法是提高分辨率,提到双眼4K,但是目前没有办法做到这么高的分辨率。所以Oculus提出了一个想法,做注视点渲染,只渲染所注视区域部分,注视区域以外的部分做低分辨率的渲染,这样能很大缓解技术难题。我们公司也在进行这部分的研究,我觉得眼控对于AR/VR来说是很关键的。
还有一个是畸变修正,Oculus的光学部分大家会看到正面是OK的越到边缘图像越畸变。Oculus试图修复光学,但是修复到最后,卡马克发现这个技术如果离开了眼球追踪不能够去完美地解决。因为Oculus是通过一套反畸变的算法来把外面问题修复掉的,但反畸变算法是基于一个人看正前方,当你看到边缘的时候,这套算法是不好用的,因为它没有考虑到你看边缘的部分。
所以Oculus也是想通过眼球追踪知道你在看边缘的哪个区域,在通过这个区域的反畸变算法来修复画面,一样的是要知道你的注视点位置。所以说到现在就是眼球追踪很重要之前没有哪个公司能够做出来。我们公司一直在努力做,也在和一些国际知名的模组公司合作,希望在2016年拿出一个非常好的体验模组,也是VR厂商都能接受的价格,提供给不管国际还是国内的合作伙伴。
想了解活动流程及其他嘉宾演讲,请戳这里: