一觉醒来,科技圈又过年了。
在苹果 2023 年的全球开发者大会上上,筹备已久的全新混合显示头显设备 Apple Vision Pro 终于亮相:2300 像素的双 micro OLED 显示屏、M2+R1 双芯片组合、单眼像素超过 4K、全新的 VisionOS 操作系统……
Apple Vision Pro 的亮相无疑给如今的元宇宙和 XR 领域带来了一剂强心针。而苹果自己对于 Apple Vision Pro 的定位也颇为高调,「今天标志着计算技术新时代的开端。如同 Mac 将我们带入个人计算时代, iPhone 将我们带入移动计算时代,Apple Vision Pro 将带我们进入空间计算时代。」库克把它摆到了与 Mac、iPhone 同样改变时代的地位,似乎借助 Apple Vision Pro 就能将狭小的空间变幻出无限的可能。
(资料图片仅供参考)
提到空间,就不得不说智能座舱这个「第三空间」。在如今这个万物皆可上车的时代,在智能座舱场景下,Apple Vision Pro 能发挥什么作用?库克口中「开启空间计算时代」的产品又能给智能汽车带来什么?
在苦等「Apple Car」无果的时候,我们一起开启脑洞来畅想一下:看看 Apple Vision Pro 在车上有哪些应用场景?作为交互大佬的苹果,在它的第一款 MR 可穿戴设备上,又能给座舱交互带来哪些指引呢?
Apple Vision Pro
如何定义下一个计算时代 ?
评价如此高的 Apple Vision Pro 究竟有什么超乎寻常的功能,我们一起来复习以下:
a. 混合现实(MR),既能显示虚拟场景,也能显示现实场景。
不同于目前行业内 AR(增强现实)、VR(虚拟现实)泾渭分明的路线,Apple Vision Pro 的效果更像是二者融合。戴上设备后,Vision Pro 可以把任何地方当成一个大型的显示屏,把内容投射在眼前,不仅能看到虚拟世界的界面,也能看到现实场景。既带来沉浸感,也不影响与外界的交流。
b. 无外接手柄,视线移动+手势+语音控制操作:
在交互层面,Apple Vision Pro 省掉了目前 VR 头显普遍用的手柄,采用视线捕捉+手势+语音交互的方式。
c. 与周围人互动,Apple Vision Pro 上会显示「眼睛」的 Eyesight 技术:
相比于目前 VR 头显的封闭场景,Apple Vision Pro 做了与外界的交互。当外界有人靠近佩戴者时,Vision Pro 的黑色外壳可以变得透明,让周围的人看到用户的眼睛,并让周围的人意识到用户正在关注什么事情。
d. 既是独立智能载体,也可以与苹果其他硬件无线连接:
苹果这次给 Apple Vision Pro 提前预埋了充足的场景和生态:可以与 Mac、iPhone 和 iPad 等设备无线连接,实现备忘录等信息的同步;使用 FaceTime 通话时,Vision Pro 可通过机器学习技术创建真实用户形象,实时反映面部和手部动作。
无数 AR、VR 设备的先例告诉我们:没有场景和生态的硬件,是无法独立生存的。苹果这次发布不仅配齐了自家软硬件生态来搭配合,发布会上站台的迪士尼、首批签约的微软办公软件等,都在一定程度上保障了生态和场景的丰富性。也让 XR 设备从目前的游戏交互向生产力工具的转型,能在工作、家庭娱乐、语音通话、观影等不同场景下的应用。
那在座舱场景下如何应用呢?
给屏幕做减法
给智能座舱引入 AR 技术、搭配可穿戴设备,在汽车上不算新鲜了。
前有如今越来越多用在量产车上的 AR-HUD,后有蔚来跟 Nreal 联手开发的原生车载 AR 眼镜 NIO Air AR Glasses。将仪表信息投射在驾驶员实现正前方,或者借助 AR 眼镜看电影,目的都是为了在更舒适的视线区域展示丰富的信息。
仪表屏、中控屏、副驾娱乐屏、后排娱乐屏…… 随着座舱里屏幕越来越多,也有不少「屏幕光污染」「后排娱乐屏遮挡视线」的声音。
这时候,如果 Apple Vision Pro 取代副驾娱乐屏、后排娱乐屏,办公、开电话会或者看电影时,画面瞬间从笔记本电脑、车载娱乐屏的实际英寸,放大到最大 100 英尺;在保证更高分辨率的同时,投射在现实场景中的虚拟界面既能满足随时随地办公、娱乐的沉浸感,也不影响与驾驶员的互动。这样看来,在不考虑价格的情况下,Apple Vision Pro 似乎比传统 AR、VR 头戴设备更有优势,也给了「多屏幕 diss 者」提供了一种替代车内娱乐屏的选择。
当然,在给座舱屏幕做减法的同时,增加了头戴设备这种外设硬件,会不会有点鸡肋?只能说仁者见仁吧。
何况这只是第一代设备,谁知道未来 MR 头戴设备是不是能进化成像普通眼镜甚至视网膜投影那样「精简」呢?
视线控制 +语音 +手势的多模态交互
一直以来,通过多模态交互融合来提供更准确、主动的交互都是座舱交互尝试的方向,语音+触控、语音+手势已经成了目前量产车上常见的功能。不过将视线控制加入到座舱多模态交互中,在量产车的实际使用中还比较少,主要在智能驾驶的 DMS 视线追踪、中控屏幕熄屏控制等功能下出现。
类似 Apple Vision Pro 中视线控制+语音+手势这种「看哪打哪」的交互方式,更多停留在概念 demo 舱中。
之所以这样,除了当前多模态感知技术的限制外,驾驶场景下驾驶员视线是绝对的「宝贵资源」,优先分配在前方路况中。无论是触屏、语音还是手势控制,对于驾驶员位来说,尽可能减少对视线的干扰、少占用视觉资源是必备条件。这是驾驶与头显设备使用场景功能不同带来的差别。
因此,在现阶段智能驾驶 L2+的水平,法律法规要求驾驶员不离眼不离手的情况下,Apple Vision Pro 中视线控制似乎对于副驾驶和后排乘客用处更大,通过眼球捕捉配合语音、手势的交互,来弥补不方便触屏、语音控制场景下的短板,也能提高语音+手势交互的准确率。
特别是在如今在部分座舱中采用的 3D-Tof 功能,眼球捕捉的加入,能进一步提升 3D-Tof 的精确度和动作限制,也许能让座舱内的多模态交互向着更精确、更方便的方向发展。
同时眼球捕捉配合 Vision OS 的动态注释点渲染,可以将最大的画质精确地传递到眼睛正在注视的每一帧,提升座舱内交互的精确度和体验。
HeySiri,语音交互更接近自然语言
与 Apple Vision Pro 同时在 WWDC23 上亮相的,是 iOS 17 的升级。在 iOS17 中,Siri 的唤醒不再是熟悉的「Hey Siri」,而是更直接的「Siri」。老实说,现实中我们与人交流时,也很少会用「Hey XXX」的句式开头,更多的是直接称呼对方。Siri 唤醒次这次的精简,让人与语音助手之间的交互更接近自然交互方式。
让语音交互更接近自然语言,也是目前智能座舱内语音交互的趋势。从去年开始,语音免唤醒出现在了部分车型里。在特定场景、功能下的免唤醒词,甚至全场景下的免唤醒词,这对于系统过滤日常对话中误触发的考验更高。
伴随着唤醒次的精简,交互过程越来越简短流畅,让语音助手越来越「听得懂人话」,让指令的容错率越来越高等等,都让语音交互向着类人、为人类带来便利体验的方向进化。
用 Eyesight 打破「第四堵墙」
在目前的 VR 设备中,当沉浸在 VR 营造的虚拟世界时,用户看不到外界的环境和反馈。头显设备就好像戏剧舞台上的「第四堵墙」,把用户和外界的交流隔绝开。这在营造沉浸感的同时,也带来了一种被隔绝的不安全感,一定程度上限制了 XR 设备使用的场景。
Apple Vision Pro 混合现实的意义,就是将虚拟场景显示在现实场景中,将虚拟和现实融合的同时,借助 Eyesight,Vision Pro 的外屏幕能显示出虚拟的眼睛,等于给封闭式的沉浸场景打开一扇交流的窗口。
对于汽车来说,车身和车窗也构成了这样一个半封闭的空间。近年来越来越多品牌用「智慧灯语」等方式让车辆与外界互动,也许 Eyesight 未必不是打破智能汽车「第四道墙」的一种方式:既能保障车内的隐私,又能实时打开与外界交流的通道。
最后
就在 Apple Vision Pro 亮相前 3 个月,智能穿戴设备的古早玩家 Google Glass 正式宣布停产。一代科技传奇的退场,有技术路线选择失误的原因,但更多的是因为生态和场景的乏力。
大家对于 Apple Vision Pro 期待如此之高,除了对于苹果技术的信心外,更多的也是苹果一直以来在生态和场景上的优势加持。软硬件的能力,决定了 Apple Vision Pro 的下限,未来场景和生态的拓展,决定了它的上限。
因此,如果站在当下看,给智能汽车配一台 Apple Vision Pro 似乎惊喜寥寥,甚至有点鸡肋;但是,Apple Vision Pro 能衍生出怎样的场景,给智能座舱领域带来哪些颠覆,是无法预知的未来。毕竟以往的苹果,给我们带来过太多的惊喜。
本文作者:米其林
不要忘记关注「极客汽车」的微信视频号哟!