Apple Vision Pro的@@空间计算@@与@@主要芯片@@@@

judy — Wed, 07 Jun 2023 02:20:55 +0000

作者@@：千芯科技@@ 陈巍@@，文章来源@@@@：半导体产业纵横微信公众号@@

在@@WWDC 2023 开发者大会上@@，苹果@@宣布了其操作系统和@@产品@@的@@一系列升级@@。但最大亮点是@@@@Apple Vision Pro，苹果@@的@@首款混合现实@@（Mixed Reality，MR，即@@VR+AR）设备@@，一经发布就成为世界热议的@@焦点@@。

“今天标志着计算技术新时代的@@开端@@。”苹果@@CEO库克说@@，“如同@@ Mac将我们带入个@@人计算时代@@，iPhone将我们带入移动计算时代@@，Apple Vision Pro将带我们进入空间计算@@时代@@。

1. 空间计算@@

空间计算@@是@@麻省理工学院@@Simon Greenwold 在@@其@@2003 年的@@论文中引入的@@一个@@术语@@。空间计算@@的@@实用化建立在@@人工智能@@ (AI) 、计算机视觉@@、芯片@@与@@传感器的@@技术进步之上@@。典型的@@@@空间计算@@包括自动化仓储@@、自动驾驶@@、工业制造@@、教育培训@@、游戏娱乐等应用场景@@。

例如在@@自动驾驶@@领域@@，通过多传感器融合和@@多模态计算@@，来识别周边环境@@、移动物体和@@人就是@@典型的@@@@空间计算@@@@。通过更强的@@算法和@@芯片@@@@，车辆就可以挑战更复杂的@@地形和@@驾驶场景@@。

空间计算@@市场的@@年复合增长率@@为@@18.3%（来源@@：http://market.us）

空间计算@@可以用人工智能@@、物联网@@@@、增强现实等技术取代旧场景的@@计算@@。据国外市场研究机构评估@@，新技术进步的@@引入@@、智慧城市项目的@@发展以及物联网@@@@@@/车联网@@渗透率的@@不断提高@@，空间计算@@解决方案的@@需求会产生@@18.3%的@@年复合增长率@@。

3自由度@@与@@@@6自由度@@对比@@@@（来源@@：Qualcomm）

MR 感知和@@重建现实使用@@SLAM技术来完成@@，该技术经常使用在@@自动驾驶@@和@@机器人领域@@。基于@@SLAM技术扫视周围环境信息@@，使用二维图像构建三维空间@@。

据称@@Apple Vision Pro 具备@@6自由度@@（6 DoF- Degree of Freedom）级别@@，用户视角在@@虚拟场景中不仅可以在@@俯仰@@、偏摆及翻滚三个@@维度旋转@@，用户的@@身体还可以在@@前后@@、上下@@、左右三个@@互相垂直的@@坐标轴上进行运动@@。

典型的@@@@3自由度@@与@@@@6自由度@@XR产品@@（来源@@：Raddit）

传感器处理芯片@@@@R1
Apple Vision Pro的@@核心芯片@@包括传感器处理芯片@@@@@@R1和@@计算芯片@@@@M2。除了这两颗核心芯片@@外@@，Apple Vision Pro还具有@@@@17个@@传感器@@、6个@@麦克风和@@两块@@4K级别@@的@@@@Micro LED作为显示@@。

据苹果@@称@@，新的@@@@R1芯片@@可减少@@ VR 中的@@晕动症@@，其多模态处理时间仅为@@ 12 毫秒@@。R1芯片@@是@@首次在@@苹果@@产品@@家族中正式亮相@@，目前披露的@@消息还很少@@。

R1与@@M2是@@Apple Vision Pro的@@核心处理器@@（来源@@：Apple）

在@@iOS 13 中的@@代码@@，早就揭示了这一新的@@@@协处理器的@@存在@@@@。R是@@其研发代号@@“Rose”的@@简写@@，当然我们也可以猜测@@R也代表了@@Reality。Rose 协处理器的@@第一个@@迭代版本@@ R1 (t2006) 有点类似于@@ Apple 的@@ M 系列运动协处理器@@，可以计算设备@@在@@空间中的@@位置@@，其核心功能是@@从主系统处理器中卸载大量的@@传感器数据处理工作@@。

R1架构@@与@@周边连接估计@@（作者@@团队绘制@@，转载请注明来源@@@@）

早先的@@@@Apple M系列运动协处理器@@可以在@@系统主芯片@@休眠时@@，持续收集@@、处理和@@存储传感器数据的@@功能@@，方便应用程序在@@设备@@启动时检索数据@@。这减少了设备@@的@@功耗并延长了电池寿命@@。我们猜测@@R1处理器也有类似的@@功能@@。

R1 的@@特别之处在@@于比之前的@@运动协处理器接入了更多的@@传感器@@，具备@@更强的@@处理能力@@，以生成更准确的@@设备@@位置图@@。R1处理器目前可集中处理来自陀螺仪@@、加速度计@@、气压计和@@麦克风的@@多模态数据@@，并增加了惯性测量单元@@ (IMU)、蓝牙@@ 5.1、超宽带@@ (UWB) 和@@摄像头@@（包括运动捕捉和@@光学跟踪@@）传感器数据的@@多模态计算支持@@。其中蓝牙@@@@ 5.1 的@@到达角@@ (AoA) 和@@出发角@@ (AoD) 功能可实现蓝牙@@测向@@。

考虑到@@R1芯片@@对接的@@传感器需要实时计算@@，可以预估@@R1是@@一颗低功耗低延迟的@@多模态传感器融合计算芯片@@@@，其上定制了传感器常用的@@算子电路@@，并且具备@@@@NPU来支持基于@@@@AI的@@传感器算法@@。

M2主要指标@@（来源@@：http://notebookcheck.net）

应用处理器@@M2芯片@@
Apple M2 是@@ Apple 的@@片上系统@@ (SoC)，之前已经用于@@@@MacBook Air 和@@ MacBook Pro 13。

M2架构@@（来源@@：苹果@@）

M2具有@@8 个@@CPU内核@@，分为@@4个@@性能内核@@和@@@@4个@@能效内核@@@@。性能内核@@提供@@ 192 KB 指令缓存@@、128 KB 数据缓存和@@@@ 16 MB 共享二级缓存@@。效率内核@@要小一些@@，仅提供@@ 128 KB 指令缓存@@、64 KB 数据缓存和@@@@ 4 MB 共享缓存@@。效率内核@@时钟频率为@@2.4 GHz，性能内核@@的@@时钟频率则到达@@ 3.5 GHz。另外@@M2 中的@@集成显卡提供@@8-10 个@@内核@@以及@@ 3.6 TFLOPs 的@@峰值算力@@。此外@@，SoC 集成了一个@@具有@@@@ 16 TOPS 峰值性能的@@高速@@16 核神经网@@络加速器@@（属于@@DSA，用于@@ AI 计算加速@@）。

M2算是@@@@Vision Pro里的@@电老虎了@@，占据了主要的@@功耗@@。

M2与@@M1对比@@（来源@@：http://anandtech.com）

M2特色是@@其采用统一的@@@@ CPU 和@@ GPU 内核@@内存架构@@@@，支持高达@@ 24 GB LPDDR5-6400，带宽高达@@ 100GB/s。内置于@@ M2 芯片@@中的@@统一内存架构@@意味着@@ CPU、GPU 和@@其他处理器组件无需在@@彼此之间重复复制数据@@，并且能够访问统一的@@数据池@@。

(Blue=GPU, Yellow=P-CPU, Green=E-CPU, Red=Neural Engine, Pink=System Level Cache , Orange=De-/Encode。来源@@：High Yield)

ICVIEWS智库专家@@@@

陈巍@@博士@@

千芯科技@@董事长@@，存算一体@@/GPU架构@@和@@@@AI专家@@，高级职称@@。中关村云计算产业联盟@@、中国光学工程学会专家@@@@。曾任@@AI企业首席科学家@@、存储芯片@@大厂@@3D NAND设计负责人@@，领军大陆首个@@@@3D NAND闪存设计团队@@、eFlash IP核编译器@@、RISC-V/x86/arm兼容@@AI加速编译器@@，相关工作对标三星@@、台积电@@、SST。毕业于清华大学@@，中美发明专利与@@软著@@70+。

电子创新@@188足彩外围@@app 网@@ - Apple-M2 - 188足彩网

Apple Vision Pro的@@空间计算@@与@@主要芯片@@@@