如果你是一名开发者最近可能被各种“AI 重塑一切”的消息刷屏。但抛开那些宏大的叙事一个更具体、更值得关注的变化正在发生AI 正在从“云端助手”变成“空间操作系统的一部分”。苹果的 Vision Pro 和 visionOS 就是这场变革最前沿的试验场。最近visionOS 2.7 开发者测试版悄然上线其中一项核心更新是Siri 获得了全新的 AI 能力。这远不止是让 Siri 在 Vision Pro 里变得更聪明一点。它揭示了一个关键趋势当 AI 深度集成到空间计算的操作系统层面时它将如何从根本上改变我们与数字世界交互的方式以及开发者能构建什么样的应用。本文将带你深入解析 visionOS 2.7 中 Siri AI 的更新但不止于此。我们会探讨这次更新解决了什么核心痛点是简单的语音控制升级还是交互范式的改变作为开发者如何利用这些新能力需要学习全新的 SDK 吗在空间计算中集成 AI面临哪些独特的挑战和“坑”比如隐私、延迟、上下文理解。通过一个完整的示例项目演示如何为你的 visionOS 应用赋予“空间智能”。无论你是对空间计算感兴趣的移动开发者还是正在探索 AI 应用落地的工程师这篇文章都将提供从原理到实践的完整路径。你会发现这不仅仅是苹果的又一次更新更是为下一代人机交互埋下的一块基石。1. 这次更新到底改变了什么在 visionOS 2.7 之前Vision Pro 上的 Siri 更像是一个“移植版”的移动端 Siri。它能帮你设置提醒、播放音乐、打开应用但这些交互本质上是二维的、指令式的。你对着空气说话它给你一个语音或平面卡片式的回复。visionOS 2.7 中的 Siri AI核心升级在于“空间感知”与“上下文理解”的深度融合。我们可以从三个层面来理解这种改变1. 从“听命令”到“懂场景”传统的语音助手需要精确的指令例如“打开‘文件’应用”。在新的范式下你可以说“把我刚才看的那份PDF放在茶几上。” Siri 需要理解“刚才看的”时间上下文、“那份PDF”内容识别、“茶几上”空间位置。这要求 AI 模型必须能处理来自视觉、音频、空间锚点等多模态的输入并生成一个在三维空间中合理的动作。2. 从“执行者”到“协作者”过去Siri 是任务的终点。现在它可能成为工作流的中间件。例如在 visionOS 的 Freeform无边记应用中你可以说“Siri根据白板上的草图生成一个 SwiftUI 的组件代码。” Siri 会调用视觉模型识别草图再调用代码生成模型最后将生成的代码片段“放置”在白板旁边的一个悬浮窗口中。AI 在这里扮演了理解意图、调用工具、呈现结果的**智能代理Agent**角色。3. 开发接口的抽象层上移对开发者而言最大的变化不是多了一个 API而是苹果通过系统级的 Siri AI封装了复杂的多模态感知和推理能力。你不需要自己集成计算机视觉模型来识别用户正在看什么也不需要构建复杂的自然语言处理管道来解析模糊指令。你可以通过更高级的 Intent 和 App Intents 框架声明你的应用能“提供什么服务”然后由系统级的 Siri AI 来负责匹配用户请求、理解场景并调用你的服务。简单来说这次更新的核心价值是降低了在空间计算环境中构建“情境感知智能应用”的门槛。系统替你处理了最难的“感知”和“意图理解”部分你则可以更专注于自己应用的核心逻辑和服务提供。2. 核心概念App Intents 与空间上下文要利用新的 Siri AI开发者需要掌握两个核心概念App Intents和空间上下文Spatial Context。2.1 App Intents你的应用能做什么App Intents 框架并非 visionOS 独有它从 iOS 16 开始引入旨在让应用的功能能被系统发现和调用。你可以把它理解为为你的应用功能创建了一个机器可读的“服务菜单”。一个 Intent 包含三个关键部分Intent定义描述这个动作是什么需要什么参数返回什么结果。perform()方法当 Intent 被调用时实际执行的代码。IntentParameter定义输入参数支持各种类型包括系统新增的SpatialEntity空间实体。在 visionOS 中App Intents 的能力被极大地扩展了因为它现在可以接收和返回与物理空间相关的数据。2.2 空间上下文数字与物理的桥梁这是 visionOS 开发中最关键也最独特的概念。空间上下文指的是应用对其周围数字和物理环境的理解。系统通过ARKit和RealityKit持续构建空间地图识别平面桌子、地板、物体杯子、显示器并为其创建数字孪生——空间锚点Spatial Anchor。新的 Siri AI 可以访问这些空间上下文信息。例如当用户说“把那个模型放在墙上”Siri 需要知道“那个模型”指的是当前焦点应用中的哪个 3D 对象通过FocusEntity或选择状态。“墙上”指的是用户视野中或空间地图中的哪一面墙一个SpatialAnchor。下表对比了传统语音交互与新的空间感知交互维度传统语音交互 (Siri on iPhone)空间感知交互 (Siri on visionOS)指令范例“设置明天上午10点的会议。”“把这个图表放到会议室的桌子上。”核心输入音频语音音频 视觉 空间地图 头部/手势追踪上下文理解基于对话历史和App状态基于物理环境、数字对象位置、用户注视点输出形式语音回复、平面卡片、打开App语音回复、在3D空间中放置/操作数字内容开发者集成主要处理语音转文本后的字符串需处理SpatialEntity参数响应空间操作3. 开发环境准备在开始编码之前你需要确保开发环境就绪。1. 硬件与系统要求开发机必须使用搭载 Apple Silicon 芯片的 MacM1 或更新型号。macOS最新版本的 macOS Sequoia当前为开发者测试版。Xcode必须使用Xcode 16.0或更高版本并安装对应的visionOS 2.7 SDK。Vision Pro需要一台运行visionOS 2.7 开发者测试版的 Vision Pro 设备。模拟器功能有限无法完整测试空间交互和Siri集成真机测试至关重要。2. 项目配置在 Xcode 中创建新项目选择“VisionOS App”模板。确保项目的Deployment Target设置为visionOS 2.7。在Signing Capabilities中为你的应用添加“Siri”能力。3. 权限声明由于涉及空间数据必须在Info.plist中声明相关隐私权限。这是最容易忽略但会导致审核被拒或运行时崩溃的一步。!-- Info.plist 中需添加的键值对 -- keyNSSiriUsageDescription/key string此应用需要Siri权限来响应您的语音指令例如在空间中放置物品。/string keyNSWorldSensingUsageDescription/key string此应用需要访问您周围的环境信息以理解“桌子”、“墙壁”等位置。/string4. 实战构建一个“空间便签”应用让我们通过一个具体的例子——“空间便签”Spatial Notes来学习。这个应用允许用户通过语音创建便签并将其“钉”在真实的物理表面上比如冰箱门或电脑旁。核心功能用户说“Siri在冰箱上贴一张便签内容是‘记得买牛奶’。” Siri 会调用我们的应用在识别出的“冰箱”平面上创建一张带有文字的 3D 便签卡片。4.1 步骤一定义 App Intent首先我们定义一个名为AttachNoteIntent的 Intent。// 文件路径SpatialNotesIntents.swift import AppIntents import RealityKit Intent(title: “在表面上添加便签” description: “在指定的物体表面创建一张文本便签。”) struct AttachNoteIntent: AppIntent { // 静态元数据 static var title: LocalizedStringResource “添加空间便签” static var openAppWhenRun: Bool false // 不需要打开完整App后台执行 // 参数便签内容 IntentParameter(title: “便签内容”) var noteContent: String // 参数目标表面这是一个空间实体 IntentParameter(title: “目标表面”) var targetSurface: SpatialEntity // 执行方法 func perform() async throws - some IntentResult { // 1. 将 Intent 参数传递给我们的主应用逻辑 let noteInfo NoteInfo(content: noteContent, surfaceAnchor: targetSurface.anchorIdentifier) // 2. 使用 AppGroup 或 Activity 机制将数据发送给正在运行的 visionOS 应用 await SpatialNotesManager.shared.handleNewNoteIntent(noteInfo) // 3. 返回结果给 Siri return .result(message: “已创建便签\(noteContent)”) } } // 辅助数据结构 struct NoteInfo { let content: String let surfaceAnchor: UUID // SpatialAnchor 的标识符 }关键点解析SpatialEntity是 visionOS 2.7 SDK 中新的参数类型它代表一个被系统识别的物理表面或物体。openAppWhenRun: false意味着这个 Intent 可以在应用未完全前台运行时被调用实现更轻量、快速的响应。perform()方法通常不直接进行复杂的 3D 渲染而是将任务派发给应用的主逻辑。4.2 步骤二在主应用中处理 Intent 并渲染我们的主应用需要监听来自 Siri 的请求并在正确的空间位置渲染 3D 内容。// 文件路径SpatialNotesManager.swift import RealityKit import ARKit MainActor class SpatialNotesManager: ObservableObject { static let shared SpatialNotesManager() private let arSession ARKitSession() private let sceneReconstruction SceneReconstructionProvider() // 存储所有便签的模型 Published var noteEntities: [UUID: ModelEntity] [:] private init() { setupARSession() } private func setupARSession() { Task { do { try await arSession.run([sceneReconstruction]) } catch { print(“ARKit session failed: \(error)”) } } } // 处理来自 Siri Intent 的请求 func handleNewNoteIntent(_ noteInfo: NoteInfo) async { // 1. 根据 anchorIdentifier 找到对应的 SpatialAnchor guard let anchor await findSpatialAnchor(by: noteInfo.surfaceAnchor) else { print(“未找到对应的空间锚点”) return } // 2. 创建 3D 便签实体 let noteEntity createNoteEntity(content: noteInfo.content) // 3. 将实体锚定到目标表面 let anchorEntity AnchorEntity(world: anchor.originFromAnchorTransform) anchorEntity.addChild(noteEntity) // 4. 添加到主渲染的 RealityView 中 if let rootAnchor getRootAnchorEntity() { rootAnchor.addChild(anchorEntity) noteEntities[noteInfo.surfaceAnchor] noteEntity } } private func createNoteEntity(content: String) - ModelEntity { // 创建一个简单的板状模型作为便签 let mesh MeshResource.generatePlane(width: 0.3, height: 0.2) var material SimpleMaterial() material.color .init(tint: .yellow.withAlphaComponent(0.8)) let modelEntity ModelEntity(mesh: mesh, materials: [material]) // 添加文字这里简化处理实际应用需使用更复杂的文本渲染 let textMesh MeshResource.generateText(content, extrusionDepth: 0.01, font: .systemFont(ofSize: 0.03)) let textEntity ModelEntity(mesh: textMesh, materials: [SimpleMaterial(color: .black, isMetallic: false)]) textEntity.position [0, 0, 0.001] // 让文字浮在表面上方 modelEntity.addChild(textEntity) // 添加简单的交互点击消失 modelEntity.generateCollisionShapes(recursive: true) modelEntity.components.set(InputTargetComponent()) modelEntity.components.set(HoverEffectComponent()) return modelEntity } // 辅助方法根据ID查找锚点此处为简化逻辑 private func findSpatialAnchor(by id: UUID) async - SpatialAnchor? { // 实际开发中你需要从 ARKitSession 的当前帧中查询所有锚点并进行匹配 // 这里返回一个伪实现 return nil } }4.3 步骤三在 RealityView 中集成与交互最后我们需要在应用的入口视图中设置 RealityView 并处理交互。// 文件路径ContentView.swift import SwiftUI import RealityKit struct ContentView: View { StateObject private var notesManager SpatialNotesManager.shared State private var arkitSession ARKitSession() State private var sceneReconstruction SceneReconstructionProvider() var body: some View { RealityView { content, attachments in // 1. 设置场景 let rootAnchor AnchorEntity(world: .zero) content.add(rootAnchor) // 存储 rootAnchor 供 Manager 使用需通过共享状态 SpatialNotesManager.shared.setRootAnchor(rootAnchor) // 2. 启动场景重建让系统识别平面 Task { do { try await arkitSession.run([sceneReconstruction]) } catch { print(“Failed to start ARKit session: \(error)”) } } } update: { content in // 每帧更新可以在这里处理动态逻辑 } .gesture( SpatialTapGesture() .targetedToAnyEntity() .onEnded { value in // 处理点击便签事件 if let noteEntity value.entity as? ModelEntity, let index notesManager.noteEntities.firstIndex(where: { $0.value noteEntity }) { // 移除便签 notesManager.noteEntities.remove(at: index) noteEntity.removeFromParent() } } ) .task { // 启动时请求必要的权限 await requestPermissions() } } func requestPermissions() async { // 请求世界感知权限 let result await arkitSession.requestAuthorization(for: [.worldSensing]) if result ! .allowed { // 处理权限被拒绝的情况 print(“World sensing permission denied.”) } } } // 为 Manager 添加设置根锚点的方法 extension SpatialNotesManager { func setRootAnchor(_ anchor: AnchorEntity) { // 通过共享的全局状态或通知中心传递 rootAnchor // 此处为示例实际项目需要更稳健的架构 } }5. 运行、测试与调试1. 运行流程将你的 Vision Pro 通过 USB-C 连接到 Mac。在 Xcode 的 Scheme 菜单中选择你的 Vision Pro 设备。点击运行▶️。应用会编译并安装到 Vision Pro 上。戴上 Vision Pro找到并打开你的 “Spatial Notes” 应用。授予它世界感知权限。2. 测试 Siri Intent确保应用已在 Vision Pro 上运行可以在后台。注视你想要贴便签的物理表面如桌面、墙壁让系统有时间识别并建立空间锚点。说出指令“Hey Siri, attach a note to this table saying ‘Test spatial note’.”理想情况下Siri 会回应“已创建便签Test spatial note”并在你注视的桌面上出现一张黄色的3D便签。3. 验证成功的标志Siri 给出了正确的语音确认。在正确的位置你指定的表面生成了3D便签模型。你可以通过手势凝视捏合或直接点击来与便签交互。6. 常见问题与排查思路在开发过程中你几乎一定会遇到以下问题。下表提供了系统的排查指南问题现象可能原因排查方式解决方案Siri 无法识别我的 Intent1. Intent 未正确声明或配置。2. 短语title不够自然或冲突。3. 应用未获得 Siri 权限。1. 检查Intent结构体是否用Intent宏正确定义。2. 在 Xcode 的Signing Capabilities中查看 Siri 功能是否启用。3. 在设备“设置”“Siri与搜索”中查看应用权限。1. 确保AppIntentsTarget Membership 正确。2. 使用更口语化的title。3. 在Info.plist中添加NSSiriUsageDescription。Siri 识别了但说“应用未响应”perform()方法执行超时或崩溃。主应用未运行或未监听 Intent。1. 在perform()方法开始和结束处添加print语句。2. 查看 Xcode 控制台日志。3. 检查openAppWhenRun设置。1. 确保perform()中的逻辑异步且高效。2. 确保主应用通过AppGroup或Activity机制能收到数据。3. 对于复杂操作考虑设置openAppWhenRun: true。便签没有出现在正确位置SpatialEntity参数传递错误。空间锚点Anchor查找失败。ARKit 未识别出目标表面。1. 打印targetSurface.anchorIdentifier的值。2. 检查findSpatialAnchor函数的实现。3. 确保用户已给予“世界感知”权限且环境光线充足。1. 在perform()中验证SpatialEntity数据。2. 实现更可靠的锚点匹配逻辑可能需要遍历当前帧的所有锚点。3. 引导用户在光线好的环境下使用并注视表面几秒钟。应用在后台时 Intent 不工作openAppWhenRun设为false但后台 Activity 未配置。检查是否使用了BackgroundActivity或AppGroup来在应用未前台时保持状态。对于需要实时空间渲染的复杂 Intent可能必须设为true。对于简单数据操作可配置后台模式。3D 模型渲染异常穿透、闪烁模型坐标系或缩放错误。与真实表面的贴合算法有问题。1. 检查createNoteEntity中模型的尺寸和位置。2. 检查锚点变换矩阵originFromAnchorTransform的使用是否正确。1. 使用小尺寸模型开始测试。2. 考虑在模型和表面之间添加微小偏移避免 Z-fighting。3. 使用RealityKit的调试视图查看坐标系。7. 最佳实践与进阶建议掌握了基础实现后要打造真正可用的空间AI应用还需要遵循以下最佳实践1. 设计自然、容错的语音指令提供多种表达方式在Intent的title和parameterSummary中定义多种同义短语。例如“贴一张便签到 {targetSurface}内容是 {noteContent}” 和 “在 {targetSurface} 上创建内容为 {noteContent} 的笔记”。处理模糊指代用户可能说“这里”、“那个”。你的 Intent 应能结合系统提供的焦点FocusEntity或默认上下文来解析。2. 性能与隐私至上轻量化的perform()此方法应在毫秒级内返回。将耗时的3D渲染、网络请求等工作抛给主应用或后台任务。最小化数据请求只在Info.plist中声明真正需要的权限如NSWorldSensingUsageDescription。向用户清晰解释为何需要这些数据。本地化处理尽可能在设备端完成AI推理和数据处理避免敏感的空间信息上传云端。3. 提供视觉与触觉反馈当 Siri 正在处理 Intent 时应在空间中提供临时性视觉反馈例如一个淡淡的发光轮廓或加载指示器。操作成功或失败时除了 Siri 的语音回复应用自身也应通过动画、音效或控制器震动如果支持来提供反馈。4. 为“AI幻觉”设计降级方案AI尤其是处理模糊空间指令时可能会“幻觉”误解。你的应用必须健壮。确认机制对于关键操作如删除、移动重要对象让 Siri 或应用界面发起二次确认。“你确定要把‘项目报告’移到垃圾桶吗”撤销操作务必提供简单明了的撤销方式例如一个全局手势或语音命令“撤销”。备选方案如果自动放置不理想应允许用户通过手势轻松地微调便签的位置和角度。5. 测试策略多环境测试在不同光照条件明亮、昏暗、不同表面材质木质桌面、玻璃、白墙、不同空间大小中进行测试。多口音和语速测试Siri 的识别能力因人而异。边界测试测试极端指令如指向一个未被识别的表面或说出非常模糊的指令。8. 总结这不仅是 Siri 的升级更是开发范式的转变visionOS 2.7 中 Siri AI 的增强表面看是语音助手的升级实质是苹果为空间计算时代定义的一套“AI原生”交互协议。它试图回答当我们的数字界面从二维屏幕扩展到三维空间时如何让AI成为无缝的交互中介对于开发者而言这意味着关注点转移从“如何画UI”更多转向“如何定义服务Intents”和“如何响应空间上下文”。能力封装复杂的多模态感知视觉语音空间被系统抽象成简单的SpatialEntity等参数降低了开发门槛。新体验可能催生了“无界面交互”Zero-UI或“情境式UI”的应用应用的功能可以像魔法一样在需要时出现在完成后隐去。当然当前阶段仍有巨大挑战空间感知的精度、AI意图理解的准确性、多任务并发处理的复杂性以及最重要的——用户心智模型的建立。用户需要学习如何与一个“懂得空间”的Siri对话。作为开发者现在正是探索这一新范式的最佳时机。建议从本文的“空间便签”这样的微场景入手理解AppIntents与RealityKit的协作流程。然后思考你的应用核心功能如何能被“空间化”和“情境化”。是让3D设计软件能听懂“把这里弄圆滑一点”还是让教育应用能响应“把恐龙放在我手上”未来的应用可能不再是一个需要被“打开”的图标而是一组散布在空间中的、可通过自然语言和手势随时调用的智能服务。visionOS 2.7 和 Siri AI 正在铺就通往这个未来的第一段铁轨。代码已经可以开始编写了。