面向联邦数据的可证明隐私学习
来自 Google Research · 期号 2026-10-02
摘要
Google Research 发布了新一代联邦学习系统，用可信执行环境（TEE）提供可外部验证的隐私保证。 过去，设备数据上传后，外部观察者无法验证数据是否被记录或检查过。新系统让设备在上传前预授权一份访问策略，只有匹配策略的 TEE 工作负载才能拿到解密密钥。访问策略发布到公共透明度日志 Rekor，外部审计员可以追踪所有可能运行的服务器端工作负载。 训练逻辑在 TEE 内执行，支持动态侧载专有代码（模型架构、数据预处理逻辑），只要隐私相关逻辑仍硬编码在 Python 程序中，就能在保护知识产权的同时提供可验证的隐私保证。 Gboard 已用新系统部署了英语和日语的下一个词预测模型。过去训练一个 FL 模型需要 1-2 个月，受限于设备可用性和端侧算力；现在瓶颈移到服务器端，通过多机并行计算大幅缩短训练时间。 顺便说一句，这套系统不仅能跑 FL 训练，还能执行任意 Python 表达的工作负载，Google 正在实验合成数据生成和 LLM 推理等场景。
深读
导读 Google Research 发布了一套基于可信执行环境（TEE）的新一代联邦学习系统，让外部审计员能验证服务器端的数据处理逻辑，从而将隐私保证从“信任 Google”升级为“可验证”。这套系统已在 Gboard 的英语和日语下一个词预测模型上部署，训练速度从过去的 1-2 个月大幅缩短，瓶颈从设备端转移到了服务器端。 关键信息 - 新系统围绕四个核心操作概念构建：数据上传（设备预授权访问策略）、KMS 与策略验证（只有匹配策略的 TEE 工作负载才能拿到解密密钥）、工作负载执行（根 TEE 将并行子任务委派给工作 TEE 集群）、容错恢复（KMS 加密的恢复状态）。 - 访问策略发布到公共透明度日志 Rekor，外部审计员可以追踪所有可能运行的服务器端工作负载。 - 数据预处理 TEE 支持动态侧载序列化信息，允许保护专有模型架构和数据预处理逻辑，前提是所有隐私相关逻辑仍硬编码在 Python 程序中。 - Gboard 已用新系统部署了英语和日语的下一个词预测模型，训练速度提升源于将设备可用性约束从训练循环中移除，以及服务器端多机并行计算。 - 新系统不仅能跑 FL 训练，还能执行任意 Python 可表达的工作负载，Google 正在实验合成数据生成和 LLM 推理等场景。 逐节讲解 从联邦学习到可验证的隐私保证 Google 在 2017 年引入联邦学习（FL），用于 Gboard 的下一个词预测、Smart Compose、Google Messages 的回复建议、Android 的 Smart Text Selection 等功能。FL 系统的开发遵循四项隐私原则：数据最小化、数据匿名化、透明度与控制、可验证性与可审计性。此前通过矩阵分解 DP-FTRL（MF-DP-FTRL）和分布式差分隐私结合 Secure Aggregation 实现了强差分隐私（DP）保证。新系统在此基础上引入 TEE，提供可远程证明、机密性和完整性的执行环境，从而构建端到端可验证的 FL 系统。 用 TEE 构建可验证的 FL 系统 系统协调四个核心操作：设备端加密上传训练样本并预授权访问策略（指定哪些 TEE 计算可以处理该数据），访问策略发布到公共透明度日志；KMS（基于 RAFT 共识协议的 TEE 集群）只向匹配策略的服务器端 TEE 工作负载发放解密密钥；数据预处理 TEE 执行 Python 训练循环，通过 Federated Language（源自 TensorFlow Federated 的开源编排语言）将并行子任务委派给工作 TEE 集群，训练循环定期发布匿名化模型权重；训练轮次结束时保存 KMS 加密的恢复状态，用于从间歇性故障中恢复。 TEE 如何增强隐私 在早期 FL 系统中，设备数据上传后外部观察者无法验证数据是否被记录或检查过。后来…