以下内容基于AI总结后修改而来，供中文读者参考。
1. 简介
在2024年的苹果全球开发者大会上，苹果公司介绍了“Apple Intelligence”，这是一个集成于iOS 18、iPadOS 18和macOS Sequoia的个人智能系统。这个系统由多个强大的生成模型组成，这些模型经过优化，能够快速、高效地完成用户的日常任务，并根据当前活动即时适应。Apple Foundation Models（苹果基础模型，简称AFM）经过专门调整，能够在写作和优化文本、优先和总结通知、创建有趣的图像以及简化应用间的交互等用户体验中发挥作用。
Apple Intelligence 的设计始终贯彻苹果的核心价值观，并建立在业界领先的隐私保护基础之上。为了开发这些AI工具和模型，我们遵循以下负责任AI的原则：
- 为用户提供智能工具：识别AI的负责任使用场景，为用户提供特定需求的工具，同时尊重用户的使用选择。
- 真实地代表用户：构建能够真实代表全球用户的产品，努力避免在AI工具和模型中延续偏见和系统性问题。
- 小心设计：在设计、模型训练、功能开发和质量评估的每个阶段采取预防措施，以防止AI工具的误用或潜在危害，并不断根据用户反馈改进AI工具。
- 保护隐私：使用强大的设备端处理和创新基础设施如私有云计算，保护用户隐私，不使用用户的私人数据进行模型训练。
在本文中，我们将详细介绍两种模型的开发：适用于设备的约30亿参数的AFM-on-device模型和更大的基于服务器的AFM-server模型。这些模型是苹果为了支持用户和开发者开发的一系列生成模型的一部分。
2. 架构
AFM 基础模型是基于 Transformer 架构的密集解码器模型，具有以下设计选择：
- 共享的输入/输出嵌入矩阵，用于减少参数的内存使用。
- 采用预规范化（Pre-Normalization）和 RMSNorm，以提高训练稳定性。
- 使用分组查询注意力（Grouped-query attention, GQA）来减少 KV 缓存的内存占用。
- 采用 SwiGLU 激活函数，以提高效率。
- 采用 RoPE 位置嵌入，基频设置为 500k，以支持长上下文处理。
AFM-on-device 的模型尺寸为：模型维度 3072、查询头数 24、键/值头数 8、层数 26，非嵌入参数数为 2.58B，嵌入参数数为 0.15B。
3. 预训练
3.1 数据
AFM 预训练数据集包括多种高质量的数据混合，这些数据包括：
- 从出版商处获得的许可数据
- 筛选过的公开数据集和开源数据集
- Applebot 爬取的公开信息
所有数据均经过严格的去污和去除个人信息的处理，确保没有包含任何苹果用户的私人数据。
3.2 配置处理
AFM 预训练分为三个阶段：
- 核心预训练（Core Pre-training）
- 继续预训练（Continued Pre-training）
- 上下文扩展（Context Lengthening）
每个阶段均使用去耦权重衰减（decoupled weight decay）进行正则化，并采用 µParam（simple）来简化参数范数控制。
4. 后训练
在模型基础上进行的后训练阶段，我们进行了大量研究，以确保模型的通用能力，包括指令跟随和对话能力。我们采用了监督微调（SFT）和来自人类反馈的强化学习（RLHF）两种方法。引入了两种新的后训练算法：拒绝抽样微调算法和镜像下降策略优化算法。这些方法显著提升了模型质量。
4.1 数据
我们在后训练中采用了混合数据策略，包括人工注释和合成数据。人工注释包括演示数据和人类偏好反馈，而合成数据则由模型生成，用于增强数据质量和多样性。
4.1.1 人工注释
演示数据包含系统级和任务级的指令及其对应的响应，强调数据质量的重要性。人类偏好反馈则通过比较和排序两个模型响应来收集偏好标签，用于进一步改进模型。
4.1.2 合成数据
在某些领域，模型生成的响应质量能够与人工注释相媲美，甚至超越。因此，我们扩展了提示集合以增加多样性，并生成合成数据用于训练。
5. 支持苹果智能功能
苹果基础模型被设计用于支持iPhone、iPad和Mac上的苹果智能系统。我们使用LoRA适配器，以使基础模型能够动态地适应用户的日常任务。LoRA适配器是小型神经网络模块，可以插入基础模型的不同层中，以进行特定任务的微调。适配器的参数值使用16位表示，能够动态加载和切换，以有效管理内存和确保操作系统的响应速度。
5.1 适配器架构
LoRA适配器被用于所有的自注意力层和前馈网络层的线性投影矩阵中，只需微调适配器，保持基础模型的原始参数不变。这种方法既保留了模型的通用知识，又能支持特定任务。
5.2 优化
为了在边缘设备上高效地部署AFM模型并降低推理成本，我们应用了量化技术将权重的有效位数减少到4位以下，同时保持模型质量。为保持模型在特定领域的能力，我们开发了最先进的量化方法和框架，使得量化模型能够几乎无损地压缩，提供灵活的量化方案选择。
5.3 案例研究：摘要功能
我们利用AFM-on-device模型来实现电子邮件、消息和通知的摘要功能。虽然AFM-on-device在一般摘要任务上表现良好，但在严格符合规格方面存在困难。因此，我们对量化后的AFM-on-device模型进行了微调，生成高质量的摘要。
6. 评估
6.1 预训练评估
在预训练阶段，我们使用多个综合基准对AFM模型进行评估。核心预训练、继续预训练和长上下文预训练阶段均显著提高了模型在各种任务上的表现。特别是数学和代码模型的能力得到显著提升，尽管大部分基准表现变化在噪声范围内。
6.2 后训练评估
在后训练阶段，我们对未量化、量化和准确性恢复的模型进行了评估。实验结果显示，AFM-on-device模型在数学和语言理解等任务中表现优异，甚至超过了多个强大的开源和商用模型。尤其在写作、工具使用等任务上，AFM模型表现出色，与GPT-4等模型相媲美。
我们对AFM-on-device和AFM-server模型在各种指令跟随任务中进行了评估，这些任务涉及生成响应的长度、格式和内容等要求。结果表明，AFM模型在执行指令和一般指令跟随能力方面表现优异，超过了多个竞争模型。
7. 负责任的AI
7.1 概述
苹果智能的开发始终遵循负责任的AI原则，包括用户赋能、真实代表用户、谨慎设计和保护隐私。我们开发了一套安全分类体系，用于设计和评估我们的生成AI功能。这一分类体系覆盖了12个主要类别和51个子类别，包括仇恨言论、歧视、非法活动等。我们严格审查训练语料，确保不包含苹果用户的数据，并在推理过程中使用防护模型对输入和输出进行评估。
7.2 预训练
在预训练阶段，我们采取了多种措施确保模型的安全性，包括严格的数据政策、法律审查和安全过滤。我们避免过度过滤，以保持模型的通用能力，并为特定特征的政策迭代留有余地。
7.3 后训练
后训练阶段的目标是确保模型输出对用户有帮助，同时尽量减少潜在的危害。我们在训练数据中包括了对抗性数据，并通过监督微调和人类反馈的强化学习（RLHF）等方法提升模型的安全对齐能力。
结论
本文介绍了支持苹果智能功能的基础语言模型，包括AFM-on-device和AFM-server。这些模型旨在快速、有效地在iPhone、iPad和Mac等设备上运行，提供高质量的用户体验，如电子邮件、消息和通知的摘要。我们致力于在开发过程中贯彻负责任AI的原则，确保模型的安全性和用户隐私保护。