从玩具到工具！ARKit升级之后，来看看苹果打算以怎样的态度来改变世界

[原文来自：www.ii77.com]

去年4月，Facebook在F8大会上推出了AR相机..Camera Effects，让用户能在相机捕捉的内容中添加各种AR效果，这并没有引起很大的波澜。两个月后，苹果在WWDC 2017上放出一个重磅炸弹——ARKit，这次在业界引起了轰动。开发者们发现，利用这款AR工具包，他们能够非常容易地创建各种AR demo，而不再要考虑什么标记点、深度摄像头，或者专门的开发环境。而对于用户而言，原来iOS11系统、A9以上处理器的苹果设备，就可以体验ARKit带来的效果。苹果成功压低了AR的门槛，AR再度成为热门话题。

▲Camera Effects这样的应用，其实真没什么亮点。

ARKit实际上有两个组成部分：ARKit和SceneKit，两者相辅相成，共同创建出用户能看到的AR效果。要没有SceneKit，ARKit就只能是一个相机程序而已。

ARKit利用摄像头拍摄实景，SceneKit建立虚拟世界。然后，ARKit将实景画面和虚拟世界的信息叠加，渲染出AR场景。

这个过程中，ARKit分析摄像头捕捉到的场景，并在其中寻找水平面来放置虚拟对象；利用摄像头来估算场景中的可见光总亮度，用于给虚拟对象添加符合实际情况的光量。ARKit 使用VIO（Visual Inertial Odometry，视觉惯性里程计）来精准追踪现实场景，VIO将摄像头的数据与iOS设备的Core Motion传感器数据进行融合。这样就能让设备准确知道自己在房间内的动作，而且无需额外校准。

ARKit将摄像头采集到的视频的每一帧进行处理，采集特征点。其实不论ARKit或者ARCore，采集特征点都是一项基础工作。特征点可以是物体上的一个角，纹理的一个疤，或者是人脸上的一颗痣，总之就是要能够独立或者参与描述对象物体。有了这些特征点，系统就可以在多帧之间追踪场景，获取特征点的位置然后估计3D位姿信息，继而渲染出相应视角下的虚拟世界。苹果A9以上的处理器就能够满足快速识别场景、构建虚拟内容的要求。

在WWDC 2018上，苹果推出了ARKit的2.0升级版本。升级版的新特性包括：增强面部追踪、增强了渲染能力、增强3D目标检测追踪、增强AR模型和空间结合的稳定性，以及最重要的多人AR实时互动。

3D目标测追踪增强了对现实物体的检测，能让虚拟和现实的交互更加真实可靠。在发布会上，ARKit对乐高的3D建筑进行了成功识别，但苹果对其识别原理未作进一步解释，我们知道谷歌的ARCore有一个Augmented Image的特性，能够对预先存储的2D图片进行识别，但暂不支持3D物体识别。ARKit是否支持3D物体识别也是个未知数。

大会上还演示了一个基于AR的3D测量应用Measure。这类应用并非苹果首创，但既然敢拿出来，证明精度也许还不错。从演示视频来看，只要通过摄像头点击选择待测物体的两个端点，就能测量出物体的长宽高等尺寸，进而算出体积。对于平面物体，还可以实现全自动的测量，无需手动定位。所有测量数据会实时显示在物体上方，方便浏览。

显然，要达到这样的效果，ARKit在对象检测、实时定位、渲染方面都必须有很高的精度。因此，苹果要展示的并非Measure测量箱子，而是其背后，AR模型和现实空间结合的稳定性。

▲Measure所展示的并非应用，而是背后的技术。

在iPhone X发布会上，苹果公布了基于Face ID的“Animoji”动态表情功能，简单说来就是能让手机里的3D虚拟形象模仿通过iPhone X前置的深度摄像头，模仿用户的表情。在WWDC 2018上，这一功能升级成了“Memoji”，让用户可以自定义3D形象，甚至可以将3D的脸融合到自己的身体和背景上，创造出虚拟和现实并存的用户个性形象。这种“捏脸”的模式，也许会是将来AR/VR用户的“名片”。而增强的面部追踪，也是实现Memoji的基础。

ARKit 2.0还带有眼球追踪功能，通过iPhone X前置深度摄像头追踪眼球来控制屏幕，还可以用眨眼代替点击操作。有人为此开发了一个demo，从演示视频来看，精确度、稳定性都还不错。

其实，早在三星S3上就出现过类似的功能，用眼睛控制屏幕明灭，跟随眼球滚屏等。一些VR盒子也带有这样的操作，通过凝视进入下一级目录。至于用起来感觉怎么样，基本上是体验一次就永久吃灰。而苹果敢亮出来，证明其对用户体验是很有信心的。剩下的事情就交给开发者去思考，这个功能能做出什么花样来。

业内普遍认为，多用户互动和持续性会话，是AR最急需解决的需求。所谓多用户互动，就是要让多个用户加入到AR场景中，每个用户能从不同的角度看到相同的虚拟对象。而持续性会话，就是要让虚拟对象能够保持在同一位置。例如，在桌子上放了一所虚拟的房子，这时候用户退出了会话。之后用户再次回到会话时，这所房子还在原来的位置上。

▲从iPad里的画面可以看出，ARKit 2.0已经解决了多用户相机坐标统一的问题。

ARKit 2.0解决了这个需求。为了更好地演示其效果，苹果还邀请了乐高创意总监马丁·桑德斯来作为嘉宾。首先在桌子上有一套组装好的乐高建筑，当桑德斯和其同事打开iPad摄像头后，这套建筑玩具在屏幕上就变成了一个新的世界：建筑周围立刻出现了街道、车辆、人物等虚拟形象。作为玩家，可以控制这些人物，可以添加各种新的元素，可以“偷窥”虚拟的建筑内部，甚至可以制造一场“火灾”，然后安排消防车和直升机前去救援。

▲亦真亦幻的“偷窥”，这需要不凡的空间定位能力。

这段演示，除了再一次展示了ARKit 2.0在对象检测、定位等方面的实力外，也顺便秀出了多用户互动这个解决方案。至于具体的实现细节，苹果并未透露。据推测应该还是识别乐高3D模型之后，通过VIO进行定位，可以解决多用户相机坐标系统统一的问题。据悉，这种互动是依靠设备间的数据传输，而不会将数据上传到云端，这对于隐私保护也很有好处。

至于持续性会话，首先还得USDZ文件格式。苹果宣布与皮克斯联合开发了一种新的AR文件格式：Universal Scene Description（USDZ）。这其实是一种未压缩、未加密的zip格式，并且为共享功能进行了优化，它可以快速在多个应用中加载预制的3D模型，能够在iOS生态圈里进行AR共享和交互。USDZ主要面向的不是终端用户，而是内容创作者，他们可以通过日常手段分享、浏览和编辑AR文件。

▲USDZ文件专为AR共享而开发。

既然是一种新的文件格式，怎么推广就是个问题。但苹果显然已经完成了大量的谈判工作。除了皮克斯外，Adobe、Autodesk、Sketchfab、PTC、Quixel等众多应用程序都宣布将支持该格式。苹果自家的程序自然是全力兼容，例如Apple News新闻客户端，今后看新闻大概都会带着AR交互。

此前，谷歌、Facebook、微软等都在使用glTF格式。USDZ的诞生，也符合苹果的秉性：走自己的路，让别人不得不跟着自己走。苹果和索尼都是特别喜欢树立行业标准的，不论是行业还是用户都已经习惯了。但是这也意味着要想在iOS和Android之间共享AR就会出现壁垒，怎么解决目前并不清楚。

▲业界巨头永远不乏支持者。

有了USDZ，多人交互和持续性会话就成为了可能。新用户可以通过读取USDZ加入到AR场景，新的虚拟对象也可以通过USDZ保存，退出后再重新登入，它依然还在。当然苹果在大会上演示的是实时同步的分享互动，是否支持异步分享—也就是让另一个用户在另一个时间来体验—还有待明确。

过去几年中，其实不少的创业公司都在做类似ARKit和ARCore的功能。但这个世界强者才有发言权，在苹果和谷歌的夹击里，这些小公司必须转型来适应新的生态。但至少，他们不用再冒着风险建立乱七八糟的AR标准，而是可以把目标和精力都放到内容上面。