意念操纵机器人成真，李飞飞团队打造，做家务玩游戏样样能行

网友：阿凡达成为现实

斯坦福李飞飞、吴佳俊带队让《阿凡达》意念操控照进了现实！

现在，只需要动动脑子就能操纵机器人。

想吃寿喜锅不用自己动手，切菜备菜、倒入食材，机器人一气呵成：

做饭、烹茶样样都行：

忙完顺便还能把桌面清理了：

你以为这就完了？这个机器人玩起游戏来也是一把好手：

甚至还能帮你熨衣服：

关键是，旁边的操纵者只需要坐在那里 " 冥想 " 即可，无需手摇摇杆。

能做到这些，都要得益于研究团队最新开发的脑机接口系统——NOIR。

这是一个通用的智能系统，使用者无需佩戴侵入性设备，机器人可以从脑电信号中解码人类意图。

并且它还配有一个 " 技能库 "，可以随意组合各种技能完成人类指令，轻松应对高达20 项日常任务。

要知道，常规脑机接口系统一般只专注于一项或几项任务。

目前这项研究已收录于机器人顶会 CoRL 2023：

围观网友一口一个哦买噶：

哦买噶，游戏规则改变者！

清华叉院助理教授许华哲也来评论区捧场：

哦买噶，赛博朋克！

这个 NOIR 系统究竟是什么？机器人为何能完成这么多任务？

20 项任务轻松拿下

正如上文所说，这个机器人能干的事儿多着呢。

干酪撒粉这种细活也能轻松完成：‍

‍

拆包裹、整理桌面这种活就更不在话下：

而其背后的这个 NOIR 系统，简单来说可以分为两部分：模块化解码管线、有原始技能库的机器人系统。

主打一个让机器人自动学习预测人类意图。

具体来说，模块化管线将解码人类意图过程分为三个模块：

1）选择什么对象？

方法是在屏幕上显示任务场景，利用对象的闪烁刺激产生 SSVEP 信号；每个对象以不同频率闪烁，人类注视某对象时，脑电信号中该频率成分增强。

然后用 Canonical Correlation Analysis ( CCA ) 方法，分析不同频率的相关性，确定人类注视的对象。

2）如何交互？

这部分是通过提示人类想象执行某些技能 ( 左手、右手等 ) 产生运动意象信号，然后使用滤波和 Common Spatial Pattern ( CSP ) 算法预处理信号。

最后利用 Quadratic Discriminant Analysis ( QDA ) 进行 4 类识别，确定技能选择。

3）在哪交互？

人类想象控制光标的左右运动来选择技能执行的具体参数。同样通过 CSP 和 QDA 处理并解码脑电信号，判断人类是左还是右。

研究人员还设置了安全机制，采用肌肉紧张信号来确认或拒绝脑电信号解码结果，避免解码错误导致的风险。

之后，机器人配备了一系列参数化的基本技能，例如 Pick（x，y，z）、Place（x，y，z）、Push（x，y，z，d）。

可以组合使用这些技能来完成人类指定的各种任务。

在这个过程中，解码人类意图既费时又费钱。所以研究团队选择让机器人用基于检索的少样本学习，来学习人类的对象、技能和参数选择。

这样一来，在给定一个新的任务时，机器人会在记忆中找到最相关的经验，并选择相应的技能和对象。

举个例子，假设人类在执行抓取杯子的任务，选择了在杯子的某个特定位置抓取（比如杯子的把手）。机器人会记录下当时的图像，以及人类选择的抓取点。

在之后的任务中，当机器人看到新的杯子图像时，它会首先根据预训练模型来分析这个新图像，提取图像的语义特征。

然后计算新图像的特征和之前记录的训练图像特征之间的相似度，找出最相似的一个点，作为它预测的抓取位置。

通过这种匹配图像特征的方式，机器人只需要人类示范一次参数选择，就可以在未来自己预测参数，而不需要人类每次都完全重新选择一遍。

使用 NOIR 系统，3 名人类参与者完成了上面我们所介绍的 20 项日常活动任务，其中包括 16 个桌面操作任务和 4 个移动操作任务。

在测试中，每个任务平均需要尝试 1.8 次就能成功，平均完成时间为 20.3 分钟，这其中主要是人类决策和解码耗时，占总耗时的 80%。

实验各阶段的解码准确率和其它脑机接口研究差不多，但使用这种方法可以将对象和技能选择时间降低 60%，从 45.7 秒缩减到 18.1 秒。