内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

起底Facebook EMG手环:手部交互革命?

2021-03-25 09:43 出处: 人气: 评论(0
【智能穿戴网】

文/VR陀螺 小钻风

Facebook克日分享了自己在手部追踪、触觉反馈偏向的研究功效——能读取手腕神经信号的EMG(肌电图)手环,EMG手环从人机交互模式来看可被视为脑机接口装备的一种。  

事实上,这款EMG手环的原型正是来自于2019年底被Facebook收购的脑机接口公司CTRL-labs。 Facebook研究这款手环用来干啥?简朴点说,是为了实现更好的触觉反馈与手部追踪效果,也就是更好的手部交互。

手部交互作为更自然的交互选择,在AR/VR中并不新鲜,支持手势识其余头显也不在少数。 但就效果而言,纵然是做到其中翘楚的Facebook,其Quest 2头显的交互设计仍然以手柄为第一交互方式,手势识别为次一级选择。 就现在来看,VR的人机交互模式现阶段已经有了,下一步朝哪个偏向生长并不明确,而AR现阶段尚未界说出。  

延用手柄,下一代盘算机平台交互模式尚未界说  

诺亦腾CTO戴若犂此前曾示意VR的C端交互形态可能不会再有革命性转变。从现在情形来看,头显视听从1968年到现在完全没有变过,人机交互一直在变,但已趋于稳固,手柄依然是第一选择。 回首移动VR人机交互的演变史,VR最最先的交互形式是准时瞄点,或者说凝望操作,最早泛起在Google Cardboard上。用户戴上VR头显后,眼睛的正前方会泛起一个瞄点,它会随着用户头部同步移动。当用户的注视点,或者说瞄点停留在某个区域时,过了倒计时时间,会引发点击操作。

尔后在瞄点的基础上添加了触控板和返回按键,用户通过在触控板举行滑动举行菜单的选择、翻页等操作,通过按键时间的是非举行功效或动作选择。

以上两种方式局限于头显操作,用户的交互选择异常未便,直至外置蓝牙手柄泛起才改变这一现状,那时的蓝牙手柄主要针对游戏设计,并非针对VR装备,因此适用性并不够好。

之后才有针对VR装备的手柄控制器,新的手柄还含有IMU能举行姿态识别,让交互方式变得厚实,玩家可实现推动、击打、投掷等动作模拟,但只有3DoF自由度,以小米VR、Oculus Go、Pico小怪兽为代表。 3DoF厥后升级为6DoF,在Facebook推出VR一体机Quest后最先大幅度普及,以Quest系列、Pico Neo 2为代表。

Quest 2手柄(图源:VR陀螺)

除了手柄外,语音控制作为一种自然的人机交互形态后也被纳入,2020年中旬Facebook便在Quest头显推出,上个月在此基础做出升级在Quest 2上线语音叫醒功效。 但现在的手势识别功效基于头显的摄像头,受光线、摄像头追踪局限等限制,而且有一定水平的延迟,达不到理想状态下的手部交互效果,因此依然无法替换手柄。 为了追求自然的交互效果,眼动追踪功效正在成为倍受追捧的工具,但现在还没有正式搭载眼动追踪的消费级头显装备面市,今年或许有时机体验。

回首VR头显的人机交互演变史可以看到,当交互过渡到蓝牙手柄后形态基本保持稳固,纵然是有了手势识别,依然停留在手柄阶段。 与VR头显相比,AR眼镜的交互演换取像是静态的,Google最早一代AR眼镜Google Glass,依赖眼镜一侧的触控板支持用户举行输入,演化至今,只管已有装备融入基于SLAM的手势识别操作,但更为成熟的落地方案依旧照样以控制器、手机、PC等外设实现操作最为常见,代表产物有Dream Glass等。

在具备手势识其余AR交互装备当中,HoloLens依附着多种深度传感器组合,用于准确感知环境与用户的手势,但售价过高难以举行普及;而眼球追踪、体感手套等交互方案由于现在手艺、成本并未趋于成熟,并不具备面向市场铺开量产的特征。

总的来说,今天的VR交互更像是专门为VR游戏(或是全封锁式体验)而打造的妥协方案;而AR交互更惨,消费端的人们依旧停留在上个时代的鼠标、键盘甚至遥控器的交互时代,AR交互事实该长成啥样,甚至都不得而知。

距离VR/AR的下一步生长,现在的装备与人们意料中的形态之间似乎总是瑕玷什么。 针对这个问题,Facebook曾对此做出了自己的剖析,以为手环会是补足这一缺失的最佳选择,并最终成为下一代盘算机平台的交互形态。 Facebook此前在手环的研究上主要落在触觉反馈,在收账脑机接口公司CTRL-labs后最先举行EMG手环的研究,并于克日公然了这款EMG手环的相关研究功效。  

Facebook EMG手环到底是什么?  

CTRL-Labs被Facebook收入后加入FRL,CTRL-Labs首创人托马斯·雷登担任FRL神经运动接口总监。他示意“正在实验使用神经接口让用户使用周围神经系统的输出直接控制机械,尤其是让手和手指肌肉动起来的大脑外部神经。 EMG手环与之前陀螺君先容过的脑机神经接口装备NextMind类似,都是通过对电信号的获取与转化举行装备的功效控制,而且都只会有选择性地针对经由训练后的信号,转化为数字下令。 第一步,EMG只提供一两个控制位,与“单击”类似,等效于点击按钮。用户可以举行拇指与食指的基本操作,好比通过捏、放操作物体。

EMG Demo:控制虚拟物体(图源:Tech@facebook)

之后扩展至对虚拟物体举行远距离操作、在桌子等平面上打字等等。由于EMG可针对差异用户拥有个性化模子,能够举行顺应与优化,因此EMG条件下打字会比现在使用键盘打字速率快得多。据领会,CTRL-labs团队已在个性化模子方面取得主要希望。

Neural Interfaces:  打字演示(图源:Tech@facebook)

单纯的手环可穿着装备并不是完整的解决方案,就似乎鼠标只是交互的一部门,因此AI也是EMG手环主要组成,AI会凭证明白提供自顺应界面,通过智能点击的方式让用户以低摩擦的方式执行高度上下文相关的动作。

好比用户在举行慢跑时,AR系统会凭证您已往在该行为中存在听歌习惯,会在显示屏上显示该选项:“播放正在运行的播放列表?”,用户做简朴的手势举行智能点击确认即可。 这种自顺应界面无需用户在自然环境与装备之间举行注重力的转移。

除了低摩擦的手势输入与基于AI系统的自顺应界面外,还需要一种闭合反馈回路的方式,也就是若何让系统与用户举行通讯——通过触觉反馈。FRL以为,人类从出生最先便举行异常厚实的触觉反馈循环,我们已经演化为行使触觉信号来领会天下。 为了举行手环触觉研究,FRL还在构建了两种原型:Belloband与Tabsi。 Belloband柔软轻盈,手环一圈设有八个气动风箱,通过控制风箱内的气体发生差异类型的压力与振动,该模子属FRL早期研究;相较之下,Tabsi触觉反馈原理不则差异,它接纳六个触觉致动器与一个较新颖的手腕挤压机制。


Tabsi(图源:Facebook)

FRL示意这些研究还处于早期阶段,然则很有远景。

那Facebook为何云云看好EMG手环,以为它将是下一代盘算机平台的交互接口呢?  Facebook:EMG手环会是下一代盘算机平台交互形态  Facebook首席科学家Abrash说:“为使AR真正普及,需要低摩擦、始终可用的手艺。该手艺必须直观易用,成为身体延展的一部门。这与今天的人机交相互距甚远,因此我们需要像恩格巴特一样,发现一种全新界面——一种将我们置于盘算体验中央的界面。”

Abrash提到的恩格巴特,其团队于1960年月发现晰鼠标,从基本上改善了人机交互。

因此,六年前在FRL Rearch(那时还叫Oculus Reseach)刚确立时Facebook便最先为AR眼镜设想理想的输入装备。 FRL Research群集了一支由研究科学家,工程师,神经科学家等组成的高度跨学科的团队,由研究科学总监Sean Keller向导,全力解决AR交互问题以及期实现新盘算形态的下一个重大范式转变。

在他们心目中,AR界面可在任何情形下使用,能将隐私、平安放在第一位遵照以人为本的原则,让用户能在自己控制下举行个性化的AR体验。 从形态上看,属于合适全天侯佩带且续航时间足够长的可穿着装备,又需要做到不引人注目,易于学习使用。 这样一个始终可用而且拥有超低摩擦的AR界面,据Abrash注释,需确立在两大手艺支柱:超低摩擦的输入与功效壮大拥有上下文感知的AI模子。

超低摩擦输入,意味着当用户需要接纳行动时,从头脑到行动的路径能做到尽可能短而且直观,好比手势、语音等等直至找到更为自然、轻松的方式来控制AR眼镜。该团队还对一系列神经输入选项举行了探索,其中基于手腕的肌电图(EMG)最有远景。 功效壮大拥有上下文感知的AI模子意味着能在种种情形下对周围的环境、可能需要的信息或是想要做的事情举行深条理的推断。理想状态下,用户只需单击一次即可完成操作。 最终,他们选择手环作为全天候可穿着装备。

为什么是手腕?其他能举行自然交互的输入装备,好比语音输入,直观但在公共领域并不私密,而且嘈杂的靠山会对输入造成影响。像手机这样可放置在口袋的产物会在用户和环境间发生摩擦,也就是需要在现实与屏幕间举行切换。

从形态上看,手环形态的手表存在多年,可以顺应无论是一样平常生涯照样社交环境,且与手这小我私人类与天下发生交互最为直接的身体部位,能将手厚实的控制功效带入AR。

智能手表也已成为异常普遍的可穿着装备,它能承载盘算、电池、天线等器件用于支持大局限的传感器。对手环形态而言,唯一缺的是输入方式,而EMG就是其中较为理想的潜在解决方案。 EMG通过传感器将从手腕传输得手的神经信号转为数字下令,对装备的功效举行控制,EMG通过手腕信号能检测精度到达毫米级的手指运动,甚至能在手指举行真实运动前展望其运动。 但Facebook的手环并非一最先便接纳EMG,真正接纳EMG,是在2019年底收购脑机接口公司CTRL-labs之后,EMG手环现实是基于CTRL-labs的研究功效。

为什么是EMG手环?陀螺君以为CTRL-labs能更好地回覆这个问题。

据CTRL-Labs首创人托马斯·雷登考察,从心理上来讲,人类之间所有的信息转达都是通过细腻的运动控制来举行的,无论是肢体动作、面部神色,照样舌头、喉咙。

那么若是大脑与天下互动所要做的一切都涉及肌肉,为什么不使用运动系统更直接地与人脑和机械举行交互呢? 但与我们所见的绝对大多数直接通过某种电极,与大脑举行毗邻从皮质读守信号的脑机接口装备差异,CTRL-Labs选择对通过脊柱传输的大量信号举行检测,这是一种更易获得神经系统信息的方式。

通过电极直接从大脑获取头部神经信号,差其余人会发生差其余检测效果,由于在大脑皮层中,大脑中的神经元相互相邻,在对差异事物发出信号时有时会造因素辨上的滋扰。

而控制手部肌肉的神经元按区域举行划分,而且内部组织慎密,按CTRL-Labs的团结首创人帕特里克·凯福什的说法:“由于肌肉的结构,人与人之间具有一致性。”

帕特里克与CTRL-Labs手环(图源:CTRL-Labs)

帕特里克还示意:“最终,我们以为这已成为您与手艺互动的通用控制器。” 而这个“通用控制器”连产物带团队率先被Facebook收入FRL,被作为AR接口继续研发。以网络天下的共通性,今天是AR接口,之后则有可能成为无论是AR、VR照样手机、电脑的通用型接口。 

总结 

Facebook在去年的Facebook Connect大会宣布Infinite Office虚拟事情区,在演示中可以看到Facebook对未来的憧憬,随时随地办公。虚拟天下的作用并不再以游戏为主,而是向办公领域扩展,场景加倍生涯化,能与真实天下自若切换。

而手环形态成为手势识其余进化选择,将可能取代手柄,解放人类的双手,而基于人类自己的EMG以及种种触觉反馈将让虚拟场景加倍真实。 对于手部交互的认可并不只有Facebook,苹果克日也曝光类似于手环形态的MR智能指环,配备SMI传感器的智能指环既可单独使用,也可与Apple Pencil等搭配使用;此外,前几日瑞士有团队也研发着名为TapID的手环,该手环可通过骨骼传导提供更真实的触觉反馈。

围绕手部追踪、触觉反馈的研究越来越厚实,这一新的交互模式越来越成为共识,手环或许真的有可能成为替换手柄,成为新一代盘算机平台交互装备的标配。而当这一时刻来暂且,手环的交互工具将不止步于VR、AR,而是所有盘算机平台。 此时,盘算机平台的交互模式将迎来真正的范式改变。

分享给小伙伴们:

相关文章

-->

Copyright © 2002-2021. 可穿戴设备网 版权所有

渝ICP备88888888号