【免费下载链接】swift-ios-skillsAgent Skills for iOS 26, Swift 6.3, SwiftUI, and modern Apple frameworks项目地址https://gitcode.com/gh_mirrors/sw/swift-ios-skills点击查看免费下载本文面向 iOS 新手讲清楚**端侧大模型推理On-device LLM Inference**这件事怎么用 Apple 的Foundation Models框架在 iPhone 上零配置生成内容又怎么用Core ML把你自己训练的模型搬进 App。全部内容来自开源技能库 swift-ios-skills它专门收录了 iOS 26 / Swift 6.3 / 现代 Apple 框架的实战技能是本文所有结论的知识来源。 先搞懂端侧大模型推理是什么为什么值得做端侧大模型推理就是让大语言模型直接在你的手机芯片上运行而不是把数据发到云端服务器。它带来三个实打实的好处好处说明对你的意义 离线可用模型常驻本地无网也能跑地铁、飞机上照常工作 隐私内建数据不出设备不经过第三方服务器用户日记、病历等敏感内容更安全⚡ 低延迟省去网络往返响应更快交互体验更跟手Apple 在 iOS 26 上给了开发者两条主力路径Foundation Models系统级开箱即用的大模型你不用管模型下载、不用管 API Key直接调用。Core ML把你的自定义训练模型PyTorch / TensorFlow 训练的转成.mlpackage高效跑在 Neural Engine神经网络引擎上。下面我们就按怎么选 → 怎么上手 → 怎么避坑的顺序一步步落地。 四选一端侧 AI 推理框架到底怎么选新手最容易纠结的就是框架。其实按你要做什么就能定。下面是 swift-ios-skills 给出的选型速查表你的场景推荐框架关键点文本生成 / 摘要 / 结构化输出iOS 26Foundation Models免 API Key、系统级隐私图像分类、目标检测、分割Core ML部署自训练的视觉模型PyTorch / TensorFlow 模型迁移Core ML coremltools一键转.mlpackage跑开源 LLMLlama / Qwen / MistralMLX Swift 或 llama.cppApple Silicon 高吞吐跨平台iOS Androidllama.cppGGUF 量化模型生态OCR / 文本识别Vision系统框架自带情感分析 / 分词 / 翻译Natural Language轻量系统模型一句话总结用现成大模型做文本→ Foundation Models部署自己训练的模型→ Core ML。本文就聚焦这两条线。 Foundation Models 上手零配置在 iPhone 上生成内容我们用一个贯穿全文的例子——食谱助手。目标用户输入帮我推荐一道快手菜App 直接返回一份结构化的菜单。第一步动手前先检查设备可用性 ⚠️这是新手最常漏掉、也最重要的一步。Foundation Models 依赖设备的 Apple Intelligence 状态每次调用前都要确认否则老机型会直接报错import FoundationModels switch SystemLanguageModel.default.availability { case .available: // ✅ 可以继续用模型 case .unavailable(.deviceNotEligible): // 设备不支持 → 走降级方案如云端或缓存 case .unavailable(.modelNotReady): // 系统模型还在下载 → 显示准备中 case .unavailable(let reason): // 其它情况 → 记录日志并降级 } 记住一个原则永远不要假设模型一定可用永远准备好 fallback降级界面。第二步创建会话并预热会话Session是有状态的支持多轮对话。创建后记得调用prewarm()预热让第一次响应更快let session LanguageModelSession { 你是一个健康食谱助手专注快速、少油烟的菜。 } session.prewarm() let response try await session.respond(to: 推荐一道 10 分钟内能做完的菜)第三步用Generable拿到类型安全的结果 ✨纯文本好接但真实业务要的是结构化数据。Generable宏会为你自动生成编译期 JSON Schema模型直接吐出一个 Swift 结构体类型安全、无需手写解析Generable struct MealPlan { Guide(description: 菜名) var name: String Guide(description: 具体做法步骤, .count(3)) var steps: [String] Guide(description: 准备时间分钟, .range(1...30)) var prepMinutes: Int }调用时只要传一个类型就行let response try await session.respond(to: 推荐一道快手菜, generating: MealPlan.self) print(response.content.name) // 蒜香西兰花虾仁 print(response.content.steps) // […, …, …]想要更完整的 API流式输出、工具调用、错误处理、Prompt 设计可以翻参考文档references/foundation-models.md。 Core ML 实战把训练好的模型搬上 iPhone如果你有自己训练的模型比如图片分类器就走 Core ML 这条路。它的核心逻辑分两段Python 侧转换Swift 侧运行。模型格式认准.mlpackage格式类型什么时候用.mlpackagemlprogram✅所有新模型iOS 15.mlmodelneuralnetwork仅历史项目.mlmodelc已编译预编译、加载更快新项目一律用mlprogram.mlpackage老格式已停止演进。三步转换管线Python 侧用 coremltools 把 PyTorch 模型转过去注意eval()这个新手必踩的坑import coremltools as ct model.eval() # ⚠️ 关键trace 前必须切到 eval 模式 traced torch.jit.trace(model, example_input) mlmodel ct.convert(traced, convert_tomlprogram) mlmodel.save(Model.mlpackage) 转换后一定要用同一批固定样本跑一遍源模型 vs Core ML 模型对比输出是否对齐Parity Check再谈压缩和上线。Swift 侧加载与预测把.mlpackage拖进 Xcode它会自动生成带类型的 Swift 类配置好计算单元即可import CoreML let config MLModelConfiguration() config.computeUnits .all // CPU GPU Neural Engine 交给系统择优 let model try MyImageClassifier(configuration: config) let input MyImageClassifierInput(image: pixelBuffer) let output try model.prediction(input: input) print(output.classLabel) // golden_retriever量化压缩体积减 4~8 倍 模型太大装不进 App、也吃内存。coreml-optimization.md 给出了压缩技术选型技术体积缩减精度影响最优硬件最低系统INT8 每通道~4x低CPU / GPUiOS 164-bit Palettization~8x中低Neural EngineiOS 16INT4 每块~8x中GPUiOS 18W8A8权重激活~4x低ANEA17 Pro / M4iOS 17⚠️别盲目全量量化。压缩必须在未压缩模型已通过验证之后进行且每改一次都要重新测精度达标才保留。想追求 Neural Engine 上的极致优先试4-bit 调色板Palettization。 两个技能如何分工一个管转一个管用这是 swift-ios-skills 一个很贴心的设计——两个技能各司其职、互不依赖边界清晰技能负责什么apple-on-device-ai框架选型、Python 侧转换 压缩 性能剖析coremlSwift 侧模型加载、预测、MLTensor、内存管理所以真实工作流是转换、压缩在apple-on-device-ai里搞定 → 加载、预测、部署在coreml里完成。想深入 Swift 集成细节Actor 缓存、批量推理、Vision 管线看 coreml-swift-integration.md。✅ 落地前自检清单这些坑帮你提前排掉结合两个技能里的常见错误总结上线前过一遍可用性每次调用前都检查了availability老机型有降级界面不阻塞主线程模型加载走异步 APIMLModel.load异步版本复用实例模型只加载一次别每次预测都 new 一个上下文预算Foundation Models 输入输出共享 token 上限用contextSize盯住序列并发一个 Session 同时只处理一个请求检查isResponding物理设备验证模拟器跑不了 Metal 推理性能数据必须在真机上看缓存编译产物运行时编译的.mlmodelc要持久缓存别每次启动重编 技能组文件路径速查想知道每个结论出自哪里直接跳过去读原文都是仓库内的相对路径总入口与框架选型skills/apple-on-device-ai/SKILL.mdFoundation Models 完整 APIskills/apple-on-device-ai/references/foundation-models.mdCore ML 模型转换Pythonskills/apple-on-device-ai/references/coreml-conversion.mdCore ML 量化/压缩优化skills/apple-on-device-ai/references/coreml-optimization.mdMLX Swift 与 llama.cpp 集成skills/apple-on-device-ai/references/mlx-swift.mdCore ML Swift 集成skills/coreml/SKILL.mdCore ML 高级集成模式skills/coreml/references/coreml-swift-integration.md 小结把端侧大模型推理落到 iPhone 上其实没那么玄文本生成、摘要、结构化输出→ 用Foundation Models记得先查可用性、再预热、最后用Generable拿类型安全结果自训练模型→ 走Core ML认准.mlpackage、转换后做 Parity 校验、再按需量化压缩不确定怎么选→ 回看上面的选型表按你要做什么直接对号入座。swift-ios-skills 把这些散落的最佳实践、避坑经验和完整参考整理成了即取即用的技能文件照着路径读、照着清单查就能少走一大圈弯路。赞分享【免费下载链接】swift-ios-skillsAgent Skills for iOS 26, Swift 6.3, SwiftUI, and modern Apple frameworks项目地址https://gitcode.com/gh_mirrors/sw/swift-ios-skills点击查看免费下载相关推荐LiteRT-LM Swift API 实战在 iOS 与 macOS 应用中集成端侧大模型LiteRT LM Swift API 实战在 iOS 与 macOS 应用中集成端侧大模型 本文以仓库 samples/ios_and_mac/README大模型人工智能本地部署多模态Core ML模型压缩终极指南如何在iOS应用中优化Awesome-CoreML-ModelsCore ML模型压缩终极指南如何在iOS应用中优化Awesome CoreML Models 在移动AI应用开发中Core ML模型压缩技术是每个iOS开文档教程Kai 9000端侧推理实战用LiteRT在手机上离线跑大模型的完整指南Kai 9000端侧推理实战用LiteRT在手机上离线跑大模型的完整指南 Kai 9000 是一款开源的 AI 助手应用它内置了强大的 端侧推理 能力基于创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考