广告
加载中

Rokid:AR交互全解析 空间计算时代长这样

翟更章 2023/10/18 08:28

【亿邦原创】2012年Google Glass发布后,全球科技发烧友开始聚在一起想象未来的AR眼镜到底是什么样,它又将如何超越智能手机,彻底改变人类生活。但可惜过往十年,关于AR的美好想象还都飘在漫无边际的未来中。

今年6月,苹果发布VST(Video See Through视频透视)AR眼镜Apple Vision Pro(以下简称AVP),惊艳的混合现实体验震惊了整个科技圈。但这些疯狂堆料的黑科技对于产业来说,短期根本无法复制,没有太多可借鉴意义,而且全新的空间计算概念,结合苹果犹抱琵琶半遮面的展示让人疑惑,于是大众和众多厂商又开始重新思考摸AR的发展路线和长期价值。

8月26日,国内知名AR品牌Rokid给出了一个答案。

据悉,Rokid发布了消费级OST(Optical See Through光学透视)个人空间计算平台Rokid AR Studio。在Rokid的真机体验展示中,人们终于真实体验到了真AR眼镜,以及背后先进的人机交互技术方案落地细节。

发布会现场,人们直接体验到了多屏办公、巨幕模式、AR看车、空间游戏、空间搜索等案例产品,直观地感受到空间计算平台的应用场景和生态潜力,以及背后的落地节奏和可行性。

有人将这次Rokid的方案比做AR时代的安卓,如果巨头们接下来拿不出更完善的AR产品,Rokid将可能成为新的下一代计算平台的核心厂商。

亿邦动力与Rokid创始人兼CEO祝铭明(Misa)、Rokid副总裁兼XR中心负责人王俊杰进行了一次深度沟通,希望更全面的了解AR眼镜背后隐藏的巨大商业价值。

拿下AR底层交互技术

业内期待已久的多模态空间交互方案终于被Rokid做出来了。

其中最典型最具有创新的交互方案就是头手交互。头手交互,是指将视线和手势组合在一起使用,用户戴上之后通过头部自然转动选择信息,再利用两指捏合手势完成确定的一整套交互解决方案。

这样的交互符合用户直觉,堪比智能手机的多点触控,更重要的是该方案对硬件资源占用较低、适应性强,也是所有AR眼镜专用交互技术里,功耗最低的。

王俊杰告诉亿邦动力:“头手交互用眼镜里的IMU就可以实现,不支持手势功能的设备,比如用Station(外接主机)上的按键也能替代。不需要专用传感器,没有额外成本。”

苹果AVP则选择了眼手交互技术。眼手交互需要专用的眼神捕捉硬件,成本高、功耗大,优点是精准度好,但短期内无法大规模落地应用。眼手交互依赖的摄像头、阵列光器件面临功耗和发热问题,未来要用超表面镜头技术才能解决,可当下该技术仍处于发展初期,落地节奏并不明确。

不过,头手交互因为需要头动,会直接影响AR显示质量,在微软、苹果都未披露相应方案的背景下,发烧友一度怀疑该方案的可行性。Rokid作为创企敢于投入力量研发本身就值得称赞,而现场真机的良好体验更打消了大家的怀疑。

事实上,面对不同场景和内容,丰富的交互手段可以帮助用户更直觉的实现用户意图。AR眼镜这样独特的产品形态,交互技术分为两个层面:“空间定位”和“空间交互”。

王俊杰介绍,关于空间定位,Rokid用一颗灰度摄像头,以最低的功耗实现了VIO方案SLAM定位、大空间VPS定位、平面锚点定位、物体点云定位。

关于空间交互,Rokid实现了包括手势交互、头手交互、语音交互、控制器射线交互、键鼠交互等一系列多模态交互能力,并且根据应用场景能实现自然的动态切换。

空间定位技术和空间交互技术相组合,形成了Rokid独有的AR人机交互方案。

同时为了降低整体功耗,打造更轻便的AR眼镜,Rokid坚持采用单摄像头方案来实现SLAM+手势识别,深厚的算法和系统能力保证自然流畅的空间计算体验。Rokid AR Studio的电池容量为7620mAh,在手势和大场景定位全开的情况下,续航时间做到了至少4小时。

“为了扩大用户手势识别范围,我们选取了一颗最符合我们需求的超大广角摄像头,在设计上还专门向下倾斜一定角度,保证了用户日常使用都能精准定位手势,检测和识别的跟丢率做到了1%以内,确保沉浸式体验。”王俊杰补充道。

坚持做AR时代的安卓

祝铭明一直将Rokid比作AR眼镜时代的安卓,Rokid团队也的确有“操作系统”基因。

早在智能手机时代到来之前,祝铭明就创业研发了智能手机操作系统,随后被阿里收购,进入阿里M实验室。

Rokid是祝铭明在操作系统技术生态领域的又一次创业,目标是面向AI时代打造全新操作系统级架构服务。多年创业,祝铭明敏锐的察觉到:新的人工智能技术架构,想要生长为一个成熟的服务系统,与AR眼镜结合在一起是最完美、最具前瞻性的。于是,他义无反顾地投入到AR市场。

Rokid创始人兼CEO祝铭明

从智能音箱语音交互系统,到当下的AR眼镜软硬件系统,Rokid靠着十年如一日的坚持,终于率先将AR眼镜推向了C端消费市场,成为首个发布AR眼镜开放系统级解决方案的企业。

“我们一开始就决定从B到C、从轻到重,推动AR眼镜快速成熟,在大众消费市场普及起来。”祝铭明表示,Rokid的目标是推动AR眼镜时代的到来,其中AI+AR技术系统生态的搭建和商业化落地,是更核心的目标。

而现在,Rokid终于发布了自己的空间计算软硬件解决方案,成为第一家发布开放AR空间计算平台的企业。

“更重要的是生态是否健康。这次空间计算平台发布之前,我们C端应用就有超过20%的付费率,每年投入上千万在开发者生态,鼓励开发者开发应用。”祝铭明强调,“我们上一代的娱乐套装生态已经足够成熟,下一步最重要的,是把新一代空间计算生态做好,把相关的观影、阅读、游戏以及数字内容生产体验做好。”

目前,Rokid的软硬件系统已经做到兼容安卓、MRTK应用生态,还通过了Android TV认证,支持Open XR标准,并与Unity等软件开发引擎合作,可以帮开发者快速开发AR应用。

而随着Rokid空间计算平台发布,全新的开发者标准UXR2.0 SDK成了下一步AR应用生态落地的关键。

发布会上,Rokid选择在产品发布前开放实机体验,观众到达发布会现场就能直接体验真机。与苹果的深度保密措施相比,Rokid更想让用户体验到产品,用真实反馈带动开发者的积极性。

“已经有很多开发者和企业在开发应用了,我们的SDK发布之后,大量的开发者已经下载和使用,很多合作伙伴主动跟Rokid联系合作,说明Rokid的产品确实获得了认可,大家积极性很高。”祝铭明强调,当下Rokid的重点是做好开发者生态培养。

过去五年,Rokid已经在toB和toC两个方向的开发者生态进行深度运营。祝铭明透露,当下Rokid生态的开发者依靠B端业务已经拿到了不错的营收,旗下AR眼镜在文旅、文博领域的应用表现不俗。新的空间计算套装Rokid AR Studio发布仅一个月,就做出了线下奥特曼AR展这样的爆款案例,展览直接将商场人流量拉升到历史流量高位,拿到了超出预期的营收。

“Rokid坚持做AR+AI领域的安卓,我们的开放分三个层面。第一,面向开发者开放;第二,面向行业开放软硬件技术接口和认证;第三,向行业开放ODM,其他企业可以直接基于此生产成熟的AR眼镜等硬件产品。”祝铭明表示,Rokid下一阶段将要做的是,开放开源、自有软硬件解决方案,与其他硬件企业共同做大AR眼镜市场和生态。

杀手级应用即将出现

独占的杀手级应用,是一款消费电子设备销量迎来爆发式增长的关键因素。这一逻辑在索尼任天堂微软的游戏设备,以及早期苹果iPhone身上得到了反复验证,AR眼镜也不例外。

不过一个共性的难点是,与设备相配套的人机交互技术方案的成本和功耗,会影响产品的落地。而AR眼镜在这方面受到的影响更大,例如苹果AVP的眼手交互,就因为采用了专用的传感器方案,被质疑技术方案的功耗和普适性。

Rokid此次发布引发轰动的焦点,是其提供了有关AR的丰富的人机交互解决方案,而方案是否能快速进入市场获得追捧,还要由其背后的功耗、灵敏度和准确度决定。

想要知道未来的杀手级应用长什么样,首先要找到更适合当下的人机交互技术。在上述提到的空间定位和人机交互技术之上,Rokid根据功耗、应用场景的不同,研发了多套交互技术方案,组成了完整的AR眼镜交互系统。

通过王俊杰的讲解和现场真机体验,亿邦动力了解了各类交互方案的实际场景和功耗排序,以及它们背后可能潜在的杀手级应用。

从成熟度上来看,语音交互、头手交互、6DoF大场景交互体验更为顺畅,且功耗较低;近场手势交互中的捏合、抓握交互体验更稳定,点按、拖拉学习成本较高;远场手势交互虽然精度高,但学习成本高,还有很大优化空间,但并不是无法攻克的难题,其中面向复杂物体和大空间的点云定位技术相关系统资源占用大、功耗高,现阶段需要跟云端协同处理。

总结下来,考虑到用户的整体体验、持续使用和产品商业化价值,现阶段AR眼镜的杀手级应用形态,首先需要局限在捏合、抓握手势内,再结合头手交互、6DoF大场景,尤其要避开复杂物体点云定位场景。而随着近场交互技术改进,可以尝试平面锚点定位场景类体验。

在发布会的真机体验中,一款名为“僵尸射手”的游戏受到一致好评,这是一款具有商业化和爆款潜力的应用。这款产品就将场景放在了6DoF大场景中,交互手势仅采用了捏合一项,虽然使用了远场手势交互,但巧妙地通过设置,让用户基本不用瞄准,就可完成游戏。

另一款被祝铭明强力推荐的AR手表应用,则是手背平面锚点定位和近场交互技术结合的独特应用。这款应用巧妙的运用了手背,这一天然具有相似特征和锚点的平面,现场体验下来有望成为iPhone Home键级别的系统级经典功能。

王俊杰说到,伴随着AR眼镜发展和技术突破,相关技术标准会逐渐成型。而现在,与交互相关的底层能力已基本达标,下一步就是针对具体场景进行逐一改造,而每一个场景都有望诞生出AR时代的杀手级应用。

文章来源:亿邦动力

广告
微信
朋友圈

这么好看,分享一下?

朋友圈 分享
+1
+1
微信好友 朋友圈 新浪微博 QQ空间
关闭
收藏成功
发送
/140 0