最近在做一个短视频处理相关的项目时遇到了一个有趣的需求用户希望将普通的视频片段转换成 iPhone 专属的 Live Photo实况照片方便在社交平台分享动态瞬间。市面上虽然有现成的转换工具但要么收费要么功能受限要么需要上传视频到第三方服务器存在隐私风险。于是我决定自己动手从零开始打造一个 iOS App 来实现这个功能。本文将完整记录从设计思路、技术选型、环境搭建、核心代码实现到最终打包上线的全流程。整个过程不涉及复杂的图形学算法而是巧妙地利用了image2和Codex这两个强大的工具链即使是 iOS 开发新手也能跟着一步步实现。学完本文你将掌握如何构建一个具备视频处理能力的原生 iOS App并理解如何将第三方工具链集成到 Xcode 项目中。1. 核心概念与工具链解析在开始编码之前我们需要理解几个关键概念和我们将要使用的工具。1.1 什么是 Live PhotoLive Photo 是苹果在 iPhone 6s 上引入的一项功能。它不仅仅是一张静态图片而是一段长度为 3 秒、包含声音的短视频实际上是由一张 JPEG 图片和一个 MOV 视频文件组成。当用户在照片应用中用力按压3D Touch或长按非 3D Touch 设备一张 Live Photo 时它会播放这短暂的动态效果和声音。一个标准的 Live Photo 在文件系统中通常表现为一个.livephoto包在 iOS 文件 App 中可见或者更常见的是在通过 AirDrop、iMessage 分享时系统会自动将其打包成一个.livp文件。.livp文件本质上是一个 ZIP 压缩包里面包含了IMG_XXXX.JPG和IMG_XXXX.MOV两个文件。1.2 工具链介绍image2 与 Codex我们的核心任务是将任意视频转换成符合 Live Photo 格式要求的 JPEGMOV 组合。这里我们借助两个命令行工具image2这是一个功能强大的多媒体处理工具源自 FFmpeg 生态。它擅长于图片和视频的格式转换、尺寸调整、帧提取等操作。在我们的项目中它将负责从输入视频中提取关键帧作为封面图JPEG并对视频进行裁剪、转码使其符合 Live Photo 对视频时长约3秒、编码格式H.264等的要求。Codex这不是 OpenAI 的 Codex而是一个用于处理 Live Photo 文件的命令行工具套件。它提供了一系列子命令例如codex combine可以将独立的 JPEG 和 MOV 文件合并成一个.livp文件codex extract则可以从.livp文件中提取出原始的媒体资源。它是我们生成最终 Live Photo 文件的关键。简单的工作流用户选择视频 - 使用image2处理视频和生成封面 - 使用Codex将处理后的资源打包成.livp- 在 App 内预览或保存到系统相册。1.3 技术选型为什么是原生开发考虑到需要深度集成系统相册读取和保存 Live Photo、调用本地命令行工具以及追求最佳的性能和体验我们选择使用Swift UIKit进行原生开发。虽然 SwiftUI 是未来的趋势但 UIKit 在文件系统操作、相册访问等底层任务上目前仍有其优势并且资料更丰富。开发工具自然是Xcode。2. 开发环境与项目初始化2.1 环境准备确保你的开发环境满足以下要求macOS: 建议使用 macOS Ventura (13.x) 或更高版本。Xcode: 版本 14.x 或 15.x。本文示例基于 Xcode 15.2。你可以在 Mac App Store 免费下载和更新。Homebrew(可选但推荐): macOS 的包管理器用于安装image2和Codex。iOS 模拟器或真机: 用于运行和测试 App。真机测试需要 Apple Developer 账号免费即可。2.2 安装必备命令行工具打开终端Terminal执行以下命令安装 Homebrew(如果尚未安装):/bin/bash -c $(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)安装完成后按照终端提示执行echo命令来配置环境变量。安装image2(通过 FFmpeg):image2通常是 FFmpeg 工具集的一部分。我们直接安装 FFmpeg。brew install ffmpeg安装后ffmpeg和ffprobe命令可用其功能已涵盖image2所需。安装Codex:Codex可能不在 Homebrew 的默认仓库中。我们需要从源码编译或寻找预编译版本。假设我们找到了一个预编译的二进制文件codex-mac。下载codex-mac到本地目录例如~/Downloads。将其移动到系统可执行路径并赋予执行权限mv ~/Downloads/codex-mac /usr/local/bin/codex chmod x /usr/local/bin/codex验证安装codex --help应该能看到使用说明。重要提示由于Codex并非广泛分发的官方工具其来源需要你自行在可靠的开发者社区如 GitHub上寻找。请务必从可信源下载并注意其开源协议。2.3 创建 Xcode 项目打开 Xcode选择 “Create New Project…”。模板选择 “iOS” - “App”点击 Next。填写项目信息Product Name:VideoToLivePhoto(或其他你喜欢的名字)Team: 选择你的 Apple ID 或个人团队。Organization Identifier: 你的反向域名如com.yourname。Interface:Storyboard(本文使用 UIKit with Storyboard便于初学者理解)。Language:Swift。选择项目存储位置点击 Create。3. 项目配置与权限申请3.1 配置 App 权限我们的 App 需要访问相册来读取视频和保存 Live Photo。因此需要在Info.plist文件中添加相关描述。在项目导航器中点击Info.plist文件。右键点击空白处选择 “Add Row”。添加以下两个键值对Key:Privacy - Photo Library Usage DescriptionType:StringValue:我们需要访问您的相册来选择视频并保存生成的实况照片。Key:Privacy - Photo Library Additions Usage DescriptionType:StringValue:我们需要将生成的实况照片保存到您的相册。3.2 准备资源文件与桥接我们将把codex可执行文件打包到 App 中。因为ffmpeg体积较大我们计划让用户在首次使用时通过 App 内提示从网络下载或直接使用系统已安装的这里我们先处理codex。在 Finder 中将之前准备好的codex(macOS 版) 可执行文件复制到你的 Xcode 项目文件夹内。在 Xcode 中右键点击项目导航器的项目文件夹选择 “Add Files to ‘VideoToLivePhoto’…”。选择codex文件确保“Copy items if needed”被勾选并添加到你的 App Target 中。为了让 Swift 能执行命令行工具我们需要找到该资源的路径。它会被复制到 App 的 main bundle 中。4. 核心功能模块实现我们将 App 的界面设计得尽量简单一个按钮用于选择视频一个按钮用于开始转换一个图像视图用于预览封面一个进度条和一个文本标签显示状态。4.1 设计用户界面 (Main.storyboard)打开Main.storyboard从对象库中拖拽以下组件到 View Controller 上并设置约束UIButton: “选择视频”用于触发视频选择器。UIImageView: 用于预览从视频中提取的封面图。UIButton: “转换为 Live Photo”用于开始转换流程。UIProgressView: 显示转换进度。UILabel: 显示状态信息如“准备就绪”、“转换中”、“转换成功”。你可以根据自己的喜好调整布局。确保为这些组件创建IBOutlet连接和IBAction连接对于按钮。我们将视图控制器类命名为ViewController。4.2 实现视频选择与封面提取在ViewController.swift中我们首先导入必要的模块并实现视频选择功能。// 文件路径VideoToLivePhoto/ViewController.swift import UIKit import MobileCoreServices import AVFoundation import Photos class ViewController: UIViewController, UIImagePickerControllerDelegate, UINavigationControllerDelegate { IBOutlet weak var selectVideoButton: UIButton! IBOutlet weak var previewImageView: UIImageView! IBOutlet weak var convertButton: UIButton! IBOutlet weak var progressView: UIProgressView! IBOutlet weak var statusLabel: UILabel! var selectedVideoURL: URL? // 存储用户选择的视频临时URL var coverImage: UIImage? // 存储提取的封面图 override func viewDidLoad() { super.viewDidLoad() progressView.isHidden true convertButton.isEnabled false statusLabel.text 请先选择一段视频 } // MARK: - 选择视频按钮点击事件 IBAction func selectVideoTapped(_ sender: UIButton) { let imagePicker UIImagePickerController() imagePicker.delegate self imagePicker.sourceType .photoLibrary imagePicker.mediaTypes [UTType.movie.identifier] // 只显示视频 imagePicker.videoQuality .typeHigh present(imagePicker, animated: true) } // MARK: - UIImagePickerControllerDelegate func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [UIImagePickerController.InfoKey : Any]) { picker.dismiss(animated: true) guard let videoURL info[.mediaURL] as? URL else { statusLabel.text 无法获取视频 return } selectedVideoURL videoURL statusLabel.text “已选择视频正在提取封面...” // 在后台线程提取封面避免阻塞UI DispatchQueue.global(qos: .userInitiated).async { [weak self] in self?.extractCoverImage(from: videoURL) } } func imagePickerControllerDidCancel(_ picker: UIImagePickerController) { picker.dismiss(animated: true) } // 使用 AVFoundation 提取视频第一帧作为封面 private func extractCoverImage(from url: URL) { let asset AVAsset(url: url) let imageGenerator AVAssetImageGenerator(asset: asset) imageGenerator.appliesPreferredTrackTransform true // 修正方向 let time CMTime(seconds: 0.1, preferredTimescale: 600) // 取第0.1秒避免黑屏 do { let cgImage try imageGenerator.copyCGImage(at: time, actualTime: nil) let cover UIImage(cgImage: cgImage) // 回到主线程更新UI DispatchQueue.main.async { [weak self] in self?.coverImage cover self?.previewImageView.image cover self?.convertButton.isEnabled true self?.statusLabel.text “封面已生成点击下方按钮转换” } } catch { DispatchQueue.main.async { [weak self] in self?.statusLabel.text “封面提取失败: \(error.localizedDescription)” } } } }4.3 实现视频处理与 Live Photo 生成这是最核心的部分。当用户点击“转换”按钮时我们需要将选中的视频复制到 App 的沙盒临时目录。使用ffmpeg通过Process调用处理视频裁剪至3秒转码为 H.264/AAC生成 MOV 文件。将之前提取的封面图保存为 JPEG 文件。使用codex工具将 JPEG 和 MOV 合并为.livp文件。将.livp文件保存到系统相册。首先在ViewController类中添加转换方法。// 继续在 ViewController.swift 中添加 extension ViewController { IBAction func convertButtonTapped(_ sender: UIButton) { guard let videoURL selectedVideoURL, let cover coverImage else { statusLabel.text “请先选择视频” return } convertButton.isEnabled false progressView.isHidden false progressView.progress 0.1 statusLabel.text “开始处理视频...” // 在后台线程执行耗时操作 DispatchQueue.global(qos: .userInitiated).async { [weak self] in self?.processVideoAndCreateLivePhoto(videoURL: videoURL, coverImage: cover) } } private func processVideoAndCreateLivePhoto(videoURL: URL, coverImage: UIImage) { let fileManager FileManager.default let tempDir fileManager.temporaryDirectory let taskId UUID().uuidString let workingDir tempDir.appendingPathComponent(taskId) do { try fileManager.createDirectory(at: workingDir, withIntermediateDirectories: true) // 1. 复制原始视频到工作目录 let inputVideoPath workingDir.appendingPathComponent(“input.mp4”) try fileManager.copyItem(at: videoURL, to: inputVideoPath) updateProgress(0.2, text: “视频已就绪”) // 2. 使用 ffmpeg 处理视频 // 目标3秒时长H.264视频AAC音频MOV封装 let outputVideoPath workingDir.appendingPathComponent(“video.mov”) let ffmpegTask Process() ffmpegTask.executableURL URL(fileURLWithPath: “/usr/local/bin/ffmpeg”) // 假设已通过brew安装 // 关键参数-ss 0 -t 3 从0秒开始截取3秒-c:v libx264 -c:a aac 指定编码器-vf “scaletrunc(iw/2)*2:trunc(ih/2)*2” 确保宽高是2的倍数 ffmpegTask.arguments [“-i”, inputVideoPath.path, “-ss”, “0”, “-t”, “3”, “-c:v”, “libx264”, “-preset”, “fast”, “-crf”, “23”, “-c:a”, “aac”, “-b:a”, “128k”, “-vf”, “scaletrunc(iw/2)*2:trunc(ih/2)*2”, “-y”, // 覆盖输出文件 outputVideoPath.path] try ffmpegTask.run() ffmpegTask.waitUntilExit() if ffmpegTask.terminationStatus ! 0 { throw NSError(domain: “FFmpegError”, code: Int(ffmpegTask.terminationStatus), userInfo: [NSLocalizedDescriptionKey: “视频处理失败”]) } updateProgress(0.5, text: “视频处理完成”) // 3. 保存封面图为 JPEG let coverImagePath workingDir.appendingPathComponent(“cover.jpg”) if let jpegData coverImage.jpegData(compressionQuality: 0.9) { try jpegData.write(to: coverImagePath) } updateProgress(0.7, text: “封面图已保存”) // 4. 使用 codex 合并为 .livp let livpPath workingDir.appendingPathComponent(“output.livp”) let codexTask Process() // 获取打包到 App 内的 codex 工具路径 guard let codexBundlePath Bundle.main.path(forResource: “codex”, ofType: nil) else { throw NSError(domain: “CodexError”, code: -1, userInfo: [NSLocalizedDescriptionKey: “未找到 codex 工具”]) } codexTask.executableURL URL(fileURLWithPath: codexBundlePath) // 假设 codex 工具支持 combine 命令codex combine cover.jpg video.mov output.livp codexTask.arguments [“combine”, coverImagePath.path, outputVideoPath.path, livpPath.path] try codexTask.run() codexTask.waitUntilExit() if codexTask.terminationStatus ! 0 { throw NSError(domain: “CodexError”, code: Int(codexTask.terminationStatus), userInfo: [NSLocalizedDescriptionKey: “Live Photo 打包失败”]) } updateProgress(0.9, text: “Live Photo 文件已生成”) // 5. 保存到系统相册 saveLivePhotoToAlbum(livpURL: livpPath) // 6. 清理临时文件 (可选) try? fileManager.removeItem(at: workingDir) updateProgress(1.0, text: “转换成功已保存到相册”) DispatchQueue.main.async { [weak self] in self?.convertButton.isEnabled true } } catch { updateProgress(0.0, text: “转换失败: \(error.localizedDescription)”) DispatchQueue.main.async { [weak self] in self?.convertButton.isEnabled true } } } private func updateProgress(_ progress: Float, text: String) { DispatchQueue.main.async { [weak self] in self?.progressView.progress progress self?.statusLabel.text text } } private func saveLivePhotoToAlbum(livpURL: URL) { PHPhotoLibrary.shared().performChanges({ // 创建资源变更请求 PHAssetChangeRequest.creationRequestForAssetFromImage(atFileURL: livpURL) }) { [weak self] success, error in DispatchQueue.main.async { if success { self?.statusLabel.text “已成功保存到相册” } else { self?.statusLabel.text “保存到相册失败: \(error?.localizedDescription ?? “未知错误”)” } } } } }5. 常见问题与排查思路在开发和使用过程中你可能会遇到以下问题问题现象可能原因排查思路与解决方案App 崩溃报错ffmpeg或codex找不到1. 工具未正确安装。2. 路径错误。3. App 沙盒权限限制。1. 在终端执行which ffmpeg和which codex确认安装和路径。对于codex检查是否已正确添加到 Xcode 项目并打包。2. 在代码中打印Bundle.main.path(forResource:)的返回值确认资源路径。3. 考虑将工具嵌入 App Bundle或引导用户安装。转换过程卡住进度条不动1. 视频处理耗时过长。2. 进程死锁。3. 后台线程阻塞主线程更新UI。1. 确保耗时操作processVideoAndCreateLivePhoto在后台线程执行。2. 检查Process的waitUntilExit()是否在主线程被调用绝对禁止。3. 添加更细致的进度回调。生成的.livp文件在相册中无法播放1. 视频编码格式不符合 Live Photo 要求。2. 视频时长超过3秒。3. 封面图与视频分辨率不匹配。1. 确保使用ffmpeg参数-c:v libx264 -c:a aac进行编码。2. 使用-t 3参数严格限制时长。3. 检查codex工具是否版本兼容。可以尝试用codex extract解包生成的.livp检查内部文件。保存到相册失败提示无权限1.Info.plist中缺少权限描述。2. 用户拒绝了权限请求。1. 核对3.1章节的Info.plist配置是否正确。2. 在首次请求权限前可以使用PHPhotoLibrary.authorizationStatus()检查状态如果被拒绝需要引导用户去系统设置中打开权限。在模拟器上运行调用命令行工具失败iOS 模拟器的沙盒环境与 macOS 不同无法直接调用/usr/local/bin下的工具。模拟器调试策略1. 将ffmpeg和codex的二进制文件必须是针对模拟器架构编译的也打包进 App Bundle像处理codex一样。2. 或者主要使用真机进行开发和测试。6. 工程优化与最佳实践上面的示例实现了核心功能但在一个准备上线的 App 中还需要考虑更多。6.1 错误处理与用户反馈更细致的错误枚举将可能出现的错误如工具缺失、处理失败、权限不足、磁盘空间不足定义为枚举类型提供清晰的本地化描述给用户。友好的提示使用UIAlertController来展示错误信息和操作指引而不是仅仅更新statusLabel。操作可取消长时间的视频处理应该允许用户取消。这需要将Process对象持有起来并提供取消按钮来终止它。6.2 性能优化视频预览优化提取封面图时如果视频很大AVAssetImageGenerator可能会慢。可以指定maximumSize来生成缩略图。后台处理对于更长的视频考虑使用URLSession进行后台传输和处理即使 App 进入后台也能继续需要配置后台模式。内存管理及时释放不再使用的AVAsset、UIImage等大内存对象。在临时目录的任务完成后及时清理文件。6.3 代码结构优化分离业务逻辑将视频处理、Live Photo 合成的逻辑抽离到独立的VideoProcessor或LivePhotoGenerator类中使ViewController更专注于 UI 和用户交互。依赖注入将ffmpeg和codex的路径作为参数传入处理器方便单元测试和切换不同版本的工具。使用现代并发考虑使用 Swift 的async/await和Task来重构后台任务使代码更清晰。6.4 上架注意事项权限描述确保Info.plist中的描述语句清晰、合理否则 App Store 审核可能被拒。处理大文件如果 App 需要处理非常大的视频需要在 App Store 的“App 隐私”报告中声明“照片和视频”数据的使用。备选方案不能假设用户设备上已安装ffmpeg。更稳健的方案是将一个精简版的ffmpeg静态库编译到你的 App 中或者使用纯 Swift 的视频处理库如GPUImage或AVFoundation本身进行转码和裁剪这样可以减少对外部工具的依赖提高可靠性。通过这个从零到一的项目我们不仅实现了一个实用的视频转 Live Photo 工具更深入实践了 iOS 开发中文件处理、多媒体操作、命令行工具集成、系统相册访问等多项核心技能。你可以在此基础上继续添加更多功能比如自定义裁剪起止时间、添加滤镜、调整 Live Photo 的静音状态等打造一个功能更丰富的个人作品。