在元宇宙，我们用眼睛操控万物？

来源：奇偶派（jioupai）原创

图片来源：Mojo Vision

作者 |吉诺

编辑 |钊

你是否畅想过，用眼睛就能控制万物，让物体按照自己的意愿来自由移动？

遗憾的是，这个酷炫，如同科幻片的场景，在以前只能出现在小说和电影中，如同“特异功能”或者“魔法”。在现实中，这种场景似乎是无法存在的。

2016年前后，初代AR/VR眼镜和头显的出现，曾让人们短暂地看到这一场景的曙光，这些设备可以让人体验沉浸感十足的3D的效果。可在初代产品中，人们仍只能通过双手和头部的动作来操作。且由于当时的技术限制，人们在使用时极易产生眩晕感，沉浸感也稍显不足。

但随着眼动追踪技术的出现，这样的想法，终于有可能成为现实了。人们只需眼睛，就可以操控万物。 眼睛注视的位置不同，VR/AR等设备都能检测出来。这不仅规避了此前人们在虚拟现实世界中的眩晕感，更将带来十足的沉浸感。

这一技术正得到科技巨头们的青睐，索尼的PSVR 2，Meta的Cambriat都已确定将采用这一技术，多方消息显示，苹果最新的MR头显产品，眼动追踪功能也将大概率会被采用。这也预示着眼动追踪技术，将成为MR产品未来发展的方向标。

Meta Quest 2  来源/网络

而在市场上备受追捧的元宇宙世界中，MR产品被作为是市场广泛认同的元宇宙的入口，作为MR产品的方向标，眼动追踪技术对元宇宙世界的重要性更是不言而喻。

从上述信息可以看到，科技巨头们对眼动追踪技术都十分青睐，并陆续采纳应用该技术。眼动追踪技术俨然已成为MR产品未来发展的方向标。

那么，成为科技巨头MR产品新核心的眼动追踪技术，能在元宇宙的未来中开辟一片新蓝海吗?

带着问题，本文将通过以下三个方面，来探讨眼动追踪技术：

1.眼动追踪技术是什么，经历了怎样的发展过程？

2.发展至今的眼动追踪，目前在各行业体现了哪些价值？

3.未来，眼动追踪技术将拥有怎样的市场规模和前景？

1、眼动追踪，新时代的读心术

众所周知，大脑是身体的“司令部”，人的记忆、睡眠、运动和语言等都离不开我们大脑的支配。当然，也包括对视觉感官的控制。所以，可以通过监测眼睛的运动情况，来推断出大脑中正在发生的事情。

眼动追踪技术正是基于此理论发展起来。顾名思义，眼动追踪就是监测眼睛运行的过程。眼动追踪最核心的研究：是确定人类或者动物注视的地方，比如实时更新瞳孔和眼球的变化。

试想，如果MR设备可以监测眼睛的实时动态，经过系统算法分析，那么就可以反推人的大脑此刻想做什么，也可以以此来为人类提供更多、更快捷的“理想化服务”。

眼动追踪技术，就能通过仪器设备进行数字图像处理，瞳孔定位，获取瞳孔三维坐标，并通过人工智能算法，计算眼睛的注视点，让智能设备知道你正在看什么。

眼动追踪渲染图  来源/网络

而眼动追踪技术的发展历史可以分为四个阶段：观察法；机械记录法；光学记录法；现代眼动追踪记录法。其中前三种方法都出现在比较早的20世纪，现因各种新技术的发明和运用，这三种都已被市场淘汰。

新世纪，更多精确，更稳定，非侵入式眼动追踪技术被开发出来。目前的眼动追踪方法，主要有角膜反射法、巩膜-虹膜边缘法和瞳孔-角膜反射向量法。

角膜反射法主要被用于眼动力学和注视点标定等方面，但头部误差较大的缺陷使其很难应用到要求高精度的MR产品中。

巩膜-虹膜边缘法也是应用于眼动力学和注视点标定方面，这一方法的优势是水平精度较高，但缺点是垂直精度较低、干扰大、头部误差大。

目前整体上最具优势的则是瞳孔-角膜反射向量法，也被称为普金野图像跟踪法。这种技术有精度高、非接触、干扰小、无创等优点，这一方法的核心原理是：视线方向由瞳孔中心相对于角膜反射的位置确定。

上/图1  下/图2

如图1和图2中所示，眼睛通过角膜反射形成特定亮斑，可以由光源和实验者头部的相对位置来确定其位置。如果被试保持头部保持不动，当眼球转动时，角膜反射不会移动，只有瞳孔会移动。图中可以很清晰地看出瞳孔中心与角膜反射变化之间的方位关系。

凭借这一方法带来的高精度和关键数据，目前瞳孔-角膜反射向量法也被广泛用于现代的眼动追踪设备中。

而AR/VR等元宇宙的入口产品，可以通过以上述方法为代表的眼动追踪技术，采集高精度的关键数据，如时间戳信息、视线落点、眼球位置和瞳孔直径等等。

随后，再通过对上述关键数据的检测及系统分析，产品就可以知道眼睛在看什么，进而解析人的大脑想干什么。

不过，尽管这一技术有发展成为新时代“读心术”的前置，但即便是目前的发展水平，企业想真正掌握它也非易事。 企业不仅需要精通图像视觉，还需要对人体视觉神经和大脑控制等原理有深入研究，这样才能进一步挖掘这一技术的价值，推动实际应用。

2、眼动追踪用在哪儿？

正如前文所说，眼动追踪技术通过对眼睛的状态的实时监测，可以获取眼睛的注视位点，进而推测出大脑的意图。

目前，人们在日常活动中，离不开用嘴去交流，用手去操作。可以预见，当在眼动追踪技术的推动下，眼睛可以替代嘴巴和双手的功能时，许多相关联的行业势必将迎来一场变革。

实际上，近几年眼动追踪技术在各行各业已取得不少突破性进展。无论在混合现实（MR），还是在医疗、汽车、零售、无障碍辅助等领域都有了实际应用的案例。

在MR领域，眼动追踪技术正在解决MR头显产品被诟病多年的眩晕问题。

此前，多家大厂的多代MR头显产品，在用户戴上后，往往会产生一定的眩晕感，这是由于眼睛看到的视频画面，跟身体的感觉不匹配，大脑感到困惑。而大脑的困惑进一步传达到整个身体，让使用MR头显产品的用户产生眩晕效果。

眩晕感严重降低了设备的体验感，让许多本打算购买MR产品的消费者心存疑虑，更在过去数年里妨碍了MR行业的进一步发展。

而眼动追踪技术可以获知人眼的真实注视点，从而得到虚拟物体上视点位置，与人眼日常工作的原理相似。

眼睛注视图（左）和全景图（右）对比 来源/网络

因此， 眼动追踪技术加持的AR/VR产品，相比此前头显，出现眩晕和低沉浸感的问题概率将大幅减小。 今年3月，就有业内人士提前试玩了搭载眼动追踪技术的索尼PSVR 2，并表示相比前代在眩晕和画面流畅方面有极大改进，甚至“玩完后世界都不同了”。

带给人们不同于现实世界的沉浸感和体验，正是元宇宙所描绘的美妙未来的源头，在眼动追踪技术的推动下，MR产品也在为向往元宇宙的人们提供一个更优秀的入口。

但在MR产品上的应用，还不只是眼动追踪技术的全部价值全部所在。

在营销领域，通过眼动追踪测量视觉注意力的功能，营销主体可以更精确地对用户行为进行解读。因为眼动追踪技术可以客观监测人们的视觉注意力重点。这对于包装设计，产品布局和商品展示的优化都至关重要。

Pop Tarts Bites的包装设计正是采用视觉营销的技术，让该品牌的总销售额较之前增长了18％。

Pop Tarts Bites包装

在教育培训领域，眼动追踪技术为疫情催生的线上教学模式提供了效果更佳的新思路。

由于疫情被迫采用的线上教学模式，美国医学委员道格拉斯博士以一套Miya模型，将眼动追踪技术与实际教学方法相结合，从而在模拟环境中而非在患者身上进行手术教学，并用眼动仪来评估学生的技能水平。

眼动追踪医疗教学  来源/网络

而在汽车领域，眼动追踪技术也在识别疲劳驾驶，驾驶注意力不集中等问题上发挥着重要作用。眼动追踪技术可以及时跟踪判断驾驶员的注意力集中情况，连续提醒驾驶员预防疲劳驾驶。

一家名为Seeing Machines的公司，也在过去几年里开发了通过眼动追踪技术，人工智能分析头部、脸部和眼睛了解驾驶员实时情况的功能，以此辨别他们在途中的困倦与分心情况。明显降低道路交通事故率。现已为全球上百家车企提供该技术服务。

实时监控眼部状态  来源/网络

除了应用于科研和商业领域之外，通过眼动追踪技术的辅助，残障人士也可以用眼睛来操控计算机，以此作为信息输入方式与外界进行沟通。Tobii公司的眼动追踪设备TD Pilot，就可以帮助残障人士通过眼球来操作iPad上的应用软件，选中目标，甚至通过眼球移动来进行打字和游戏。

Tobii TD Pilot

由此可见，眼动追踪技术已经在多个行业得到实际应用。这一技术的行业价值正在进一步得到凸显。 未来，随着“可用眼代替手”的场景需求日益增多，眼动追踪技术还有更多可以“大显身手”的地方。

3、元宇宙未来，眼动追踪的蓝海

随着元宇宙概念的发展，现实世界存在的事物将逐步数字化、虚拟化，并将其映射到虚拟世界中。这个“虚拟”市场在逐步壮大。而AR/VR头显等MR设备作为虚拟世界的入口，在其中的作用也将举足轻重。

根据中国信通院统计，2020年全球VR/AR市场规模约为900亿元，其中VR市场规模620亿元，AR市场规模280亿元。该机构2020-2024五年，预测全球虚拟（增强）现实产业规模年均增长率约为54%，其中VR增速约45%，AR增速约66%，2024年二者市场规模接近、均达到2400亿元。

奇偶派制图

庞大的MR市场给了眼动追踪技术快速成长的土壤，根据美国市场调研机构ABI Research指出，应用了手势控制与眼动追踪技术的传感器产生的收入将会接近50亿美元。

眼动追踪技术作为MR设备不可或缺的一环，今后在多方面还有希望实现进一步的突破，这无疑将再度拓展眼动追踪技术在元宇宙的作用。

例如，在如今MR头显中的光学系统暂时还未能实现动态聚焦功能，这是因为头显需要一个致动式变焦显示器。但变焦显示器一定得有眼动追踪技术的支持，系统需要准确地知道用户的注视点位置。

但随着眼动追踪技术的进步，未来的MR设备有望通过这一技术识别人眼睛焦点的深度变化,从而让聚焦也随着变化，也就实现了MR设备的动态聚焦。

通过使用MR设备中的眼动跟踪信息，设备也可以仅执行“中心凹形渲染”，来渲染被观察环境中的那些元素。这既避免了渲染所需资源过多而导致的GPU过载，还能精确地带来更高质量的视觉体验，打造出一个沉浸感更强的元宇宙环境。

此外，眼动追踪对视觉的追踪，也有助于未来特殊MR等各类设备对用户意图进行更准确的判断。设备和系统将可以根据用户注视点，来规划用户的下一步行为，并为其营造更贴切的元宇宙世界的各类设定。

而眼动追踪对提高交互效率方面，同样有着很好的应用前景，有了眼动追踪对操作速度和精度的加快，用户自身也可以主动利用他们的注视点，更轻松地完成现实世界和虚拟世界中的各类操作任务。

无论是在现实世界的远程手术、远程驾驶等方面，还是在虚拟元宇宙中的各种操作，眼动追踪技术的发展，都将为人类带来更多的便利。

虽然当下眼动追踪市场规模，还无法与MR整体市场相比，但 它作为MR、乃至元宇宙设备中的“精准手术刀”，未来注定随着MR的发展和元宇宙的进化，获得广阔的发展天地。

正如知名的Meta旗下MR设备公司Oculus创始人Palmer Luckey所表示的：“眼动追踪是虚拟世界的心脏，未来的视觉头显必将都支持眼动追踪技术”。

作为未来元宇宙世界入口的核心，眼动追踪技术在今后广阔的市场规模中，也注定大有可为。

4

写在最后

随着虚拟现实行业不断的迭代、发展，以及元宇宙概念的兴起，MR设备被认为是下一代计算平台的说法得到越来越多的认可。

MR头显也正在朝着更轻、更薄、更便捷的方向发展。根据相关统计，MR头显预计在2025年将销售超过1亿台。未来MR产业的规模有望超过智能手机，成为人手一台的便携式计算终端。

未来MR眼镜  来源网络

可以预见的是，在不久的将来，人类通过MR设备上的眼动追踪技术来完成的事情会越来越多。比如创作、设计可以通过眼睛来操纵输入端；医生也可以通过相关智能设备，用眼动控制来完成一场精细化的远程手术。同虚拟世界进行互动也会变得和现在打电话一样简单。

用眼睛控制万物，将不再仅仅是个梦想，而会成为你生活的一部分。未来已来,将至已至。眼动追踪技术正解放着人类的双手，“眼控”代替“手控”的时代还会远吗？