虚拟头显的未来？脑机接口在AR/VR中的应用方式

神经技术可能是下一个前沿领域，OpenBCI的Galea头显设备以及辅助控制方面的进步，将会为我们的生活打开新的大门。

几周前，苹果为我们展示了如今最高质量的混合现实设备——Vision Pro。它采用手指和眼睛控制界面，给人留下了深刻的印象。

然而，在它宣布发布几个月前，我遇到了一件更让人震惊的事情。我只需要把夹子夹在耳朵上，然后头上戴着一圈带有橡胶尖端传感器的装置，同时佩戴一个面罩就能够通过虚拟现实看到自己的脑电波，并且只需微小地运动面部肌肉，就可以在虚拟环境中移动物体。这是我试用OpenBCI的Galea设备的体验。

虚拟现实和增强现实的未来正在稳步发展，但我们投入的时间与精力还不够。 目前，该领域正在从使用物理控制器转向手部和眼部追踪技术 。然而，更深层次、与神经技术相关的可能性也在等着我们去探索。

我甚至不知道如何描述我尝试Galea头显的经历，因为它是一个探索未来发展的平台。而且，就我在神经技术方面的经验来说，还只是处于初级阶段。

OpenBCI是一家位于布鲁克林的公司，专注于研发非侵入性脑-计算机接口技术的研究工具。他们将自己的感知系统应用于一款名为Galea的混合现实头戴式耳机，并计划在今年晚些时候推出。

在OpenBCI位于布鲁克林的办公室，我有机会尝试了Galea的原型版本。我对于脑机接口在虚拟现实和增强现实中的应用方式非常好奇，同时也思考着与计算机交互的未来可能会带来怎样的变革。

01.适用于VR和AR的全新传感器平台

我曾经尝试过一些简化版的脑电图（EEG）传感器组合，用于特定的视觉任务。比如，NextMind让我能够通过集中注意力在特定区域触发动作（NextMind去年被Snap收购）。这种体验几乎就像是用思维来进行鼠标点击一样。然而， OpenBCI的Galea则是一个完整混合了各种类型传感器的设备：包括EEG、EMG、EDA、PPG和眼球追踪，真可谓缩略词大集合 。

脑电图（EEG）用于测量大脑信号的电活动。OpenBCI使用带有橡胶头的传感器连接头皮，类似于我在2021年试用过的NextMind硬件。这些电极在干燥的情况下工作良好，但需要避免太多的头发以确保良好的信号接收。

肌电图（EMG） 用于测量神经和肌肉的电活动。 在Galea头戴式耳机上，这些传感器围绕在面罩上，覆盖额头、眼睛和脸颊部位。当我微微活动面部肌肉时，传感器会进行读数 。但与Quest Pro等虚拟现实头显上的面部摄像机通过检测特定的物理动作不同，这里的读数完全基于电信号 。

理论上，你甚至可以做出非常微小的运动，更像是简单的神经冲动。Meta公司也正在开发适用于未来头戴式设备的肌电图技术手环，但该手环仅通过手腕测量手指和手的运动，而OpenBCI的传感器则专注于面部区域。

皮肤电活动（EDA） ，即皮肤汗液的电测量，通常用于检测出汗情况。例如，Fitbit将自己的EDA传感器集成到Fitbit Sense智能手表中，用于测 量压力水平。OpenBCI的EDA传感器位于头戴式耳机的前额部分。

光电容积描记法（PPG）是一种光学心率感应技术，类似于大多数智能手表上已有的功能。在最终的Galea头戴式耳机上，PPG也是在额头上进行测量。但在我的演示中，我佩戴了耳夹以进行PPG测量。

这个传感器阵列与现有的虚拟现实和增强现实头戴式设备Varjo XR-3（或更低成本的Varjo Aero）结合，并通过连接到计算机来运行软件和分析数据。

Varjo的高分辨率显示和透视视频混合现实功能为OpenBCI的传感器在虚拟现实和增强现实场景中提供了许多软件可能性。但OpenBCI的传感器阵列可以独立于虚拟现实头显工作，也可以与其他设备连接使用。

苹果的Vision Pro也可能成为OpenBCI的理想平台，因为它具备强大的处理能力和独立功能。根据OpenBCI的首席执行官兼联合创始人Conor Russomanno的观点，开发类似于Vision Pro或未来的增强现实和虚拟现实平台是完全可行的。他将苹果最近的动态视为对计算机领域混合现实的重要关注，这与OpenBCI对于这一机遇的看法不谋而合。

02.感知阵列可辅助多个功能

OpenBCI的感知阵列可以同时追求多个目标。它不仅仅关注于一个特定目标，而是通过系统的传感器促进研究，并为与计算机的交互打开新的可能性。

最近，OpenBCI与患有脊髓性肌萎缩症的黑客Christian Beyerlein合作，他利用OpenBCI的感知阵列通过面部肌肉脉冲控制了一架无人机。这次在TED演讲中的演示展示了脑机接口如何为辅助功能和对虚拟现实技术的控制打开新的途径。

我的演示包括一个基于肌电图（EMG）控制的游戏，名为《猫咪奔跑者》（Cat Runner）。 我通过微小的面部肌肉运动将卡通角色左右移动，这些运动被Galea面罩中的EMG传感器所识别。

这款游戏与Meta一直在使用的神经输入手环技术演示相似，我去年秋季在Meta的雷德蒙德现实实验室总部见到过。然而，Meta关注手腕上的运动感知，而OpenBCI的Russomanno认为将传感器放在头部会有更好的机会，因为这样不会干扰现有基于摄像头的手部跟踪工作。

肌电图（EMG）技术旨在感知微弱的电信号，以至于几乎没有肌肉运动。然而，传感器、算法和人体输入之间的这种关系需要一些时间来精细调试。OpenBCI的多种类型传感器可以提供大量数据，这些数据可以指示未来的研究方向或新的接口。

它们还可以提供有关使用虚拟现实（VR）和增强现实（AR）对大脑或注意力的影响的反馈。此前已经进行过使用VR头显上的传感器研究认知过程的尝试，其中包括具有心率传感器的HP Omnicept，或者支持眼动追踪的头显。

另一个基于脑电图（EEG）传感器的演示是创建了一个冥想的“共感房间”，在这个房间中，我的不同脑波状态转化为周围环境灯光的不同颜色。我的脑波似乎改变了我所看到的颜色。于是我开始尝试通过特定的注意方式来呈现出不同的颜色。

这似乎是有效的吗？OpenBCI许多传感器的关键功能，最终它们可以被用来训练和改善我们通过自身的神经脉冲来控制事物的能力。

Russomanno认为Beyerlain利用肌电图控制无人机，通过将系统扩展到他自己的大脑和身体功能上， 展示了神经反馈将如何改变我们与计算机的交互方式，就像人工智能一样 。"这并不是说人工智能没有用处，只是它并非唯一的解决方案，也不是能够改变世界的唯一圣杯。"

Russomanno表示，“实际上，我们还看重神经反馈、极其智能的用户界面和设计，这些优化反馈循环的其他方向。利用技术让计算机更好地教导人类是我们即将经历的另一个令人激动的革命。”

这让我想起智能手表技术的发展轨迹，光学心率传感器逐渐打开了数据流，随后手表上出现了新的健康功能。Fitbit在其Sense手表上添加了多个新的传感器，其中还包括EDA压力传感器。

Russomanno确信OpenBCI的Galea以及类似的努力将开启通往未来可穿戴传感器的全新道路，使其与我们所看、所听和我们的双手互动的事物建立接口连接。他认为更好的独立虚拟现实（VR）和增强现实（AR）头显的到来，包括苹果的头显，将打开通往新输入和外围设备的途径。“直到这些头显问世并且人们开始构建双向应用程序，我们才能真正知道。”

Russomanno在我们演示几个月后通过视频聊天对我说："在这些头显问世之前，我们还无法知道人们开始构建双向应用。"Russomanno指的是即将推出的更先进的增强现实和混合现实设备。“ AR头显的炫酷之处在于它拥有你想了解有关本地环境的任何外部世界传感器。而我们所做的是内部世界 。当将这两个数据集结合在一起时，我们仍然不知道会有什么可能性。”

尽管Russomanno将神经反馈与人工智能进行了比较，但我也认为二者是相互关联的。人工智能需要数据集才能发挥其魔力；未来的感知技术系统也是如此。随着神经技术的发展，人工智能与之共同进化的可能性也在不断增加。

03.一个可以扩展到头显以外的传感器平台

OpenBCI的Galea实际上是一款虚拟现实（VR）和增强现实（AR）头显，但它与Varjo硬件的接口只是其中的一部分。这个传感器阵列也可以单独使用。当我想到未来的可穿戴设备最终可以与我们身上的其他可穿戴设备进行交互时，这更加引起了我的兴趣。

在这个世界里， 我们的日常互动有可能通过更先进的传感器得到增强 。虽然那样的未来还遥远，但OpenBCI在Galea中所组装的传感器似乎正在为这个未来奠定基础。

目前说服人们相信虚拟现实、增强现实和可穿戴视觉技术的价值仍然具有挑战性。但改进我们最终与空间计算或现实世界进行接口连接的方式，可能是让虚拟现实/增强现实进化为更有意义甚至更具冲击力形式的答案之一。个人技术正在与我们的感官和大脑建立更紧密的关系，但据我所见，我们甚至还没有真正开始迈向那个未来。

原文由Scott Stein撰写，中文内容由元宇宙之心（MetaverseHub）团队编译，如需转载请联系我们。