论文解读与源码复现CryptoFace全同态加密的端到端人脸识别CVPR 2025论文首页题目与摘要截图一、前言人脸数据与密码不同泄露后无法挂失重置。现有安全人脸识别系统的做法是把特征加密同态加密、在密文域比对——但原始人脸图像在客户端本地提取特征这一步不受保护恶意服务器可从查询模式推断敏感属性恶意客户端可发起模板恢复攻击反推服务器数据库。更根本的是特征一旦离开客户端就以明文形态存在于内存中。密歇根州立大学的 CryptoFace 是第一个**端到端全同态加密FHE**人脸识别系统客户端把人脸图加密上传服务器在密文上完成特征提取、特征存储、相似度比对与阈值判断全程无解密只有客户端持密钥解密最终的 match/no-match 标量。配套的 CryptoFaceNet 网络架构浅层 patch CNN 混合体解决了 FHE 推理的三大拦路虎——乘法深度、高分辨率张量、余弦相似度——在五个标准 FR 基准上比 FHE SOTA 快7 倍、精度最高提升8.8%。二、方法解析2.1 FHE 背景与威胁模型系统采用CKKS同态加密方案定点近似算术适合 NN 推理密文支持加法 ⊕、乘法 ⊗ 与循环旋转 Rot论文式 2。核心成本概念是乘法深度——每次密文-密文乘法消耗一个 level深度 k 的函数消耗 k 层bootstrapping刷新密文层级比普通乘法慢两个数量级且极耗内存。CNN 的 ReLU 不是同态映射必须换成低次多项式激活。威胁模型为两方半诚实客户端恶意也无法接触服务器密文特征只收到 match 标量服务器恶意也无法解密客户端人脸无密钥。2.2 CryptoFaceNetpatch CNN 混合体端到端加密的第一性约束是乘法深度必须压到极小。CryptoFaceNet 的解法是把 ViT 式的图像分块思想引入 FHE分块 浅层 PCNN人脸图 $x$ 按 ViT 方式切成 $L$ 个 $P\times P$ patch$LHW/P^2$实验 $P32$每个 patch 独立过一个浅层patch CNNPCNN得局部特征 $y_i$再线性融合为全局特征论文式 5$$y yA^\top b,\quad y [y_1, ..., y_L]$$patch 分辨率远小于整图$P\ll H,W$每个 PCNN 的感受野小 → 网络浅 →乘法深度低 → 每个 PCNN 只需 1 次 bootstrapping基线要 3 次FHE 下 L 个 PCNN并行求值融合退化为最便宜的密文加法论文式 7 把矩形矩阵 A 分解为 L 个方阵 $A_i$向量-矩阵乘并行后相加。训练ArcFace 加性角度间隔损失式 4拼图jigsaw辅助任务用局部特征预测自己的 patch 位置α0.005——无权重共享的独立 PCNN 天然缺位置信息jigsaw 补上。图片源自论文 Figure 3明文训练左与密文推理右的对应关系。训练时各 PCNN 融合层以明文联合训练推理时同一结构在 FHE 下并行求值。2.3 三个 FHE 专属设计深度最优块AESPA 块Conv→HerPN 激活深度为 8CryptoFaceNet 把 Hermite 激活 $ax^2bxc$ 的二次项系数 $a$融进卷积权重变为 $x^2 \frac{b}{a}x \frac{c}{a}$深度降为 1——每块省 2 个 level论文 Figure 4多项式 ℓ2 归一化FR 匹配需要 $\hat{y} y/|y|$其中 $1/\sqrt{t}$ 在 FHE 下难以近似定义域宽、minimax 失效。CryptoFace 用分布感知的二次多项式 $p(t) \beta_2 t^2 \beta_1 t \beta_0$取 $t$ 分布的 $\mathrm{Mean}\pm\mathrm{Std}$ 三个控制点插值求系数——拟合误差 $\log_2|p(t)-q(t)| \le 2^{-10}$深度仅 2匹配阈值 T 按多项式归一化重新标定(2,2) 自适应池化把 MPCNN 的 (1,1) 池化改为 (2,2)实现为 4 个 (1,1) 池化 重排特征维 128→256保留 FR 所需的结构信息Linear 与 BN1D 融合省深度。全网仅 1 次 bootstrapping。2.4 系统流程与可扩展性Offline注册客户端加密参考人脸 身份上传服务器提取密文特征入库。Online验证客户端加密 probe 图上传 → 服务器密文提取特征 → 密文比对Match 函数式 3→ 返回密文结果 → 客户端解密。分辨率扩展性提高分辨率只需增加 PCNN 数量4/9/16 个对应 64/96/128 分辨率并行求值使延迟几乎不随分辨率增长——这与传统 HCNN增大环次数 N复杂度 $O(\ell^2 N\log N)$形成本质区别。三、数据集与实验设置训练WebFace4MWebFace260M 子集205,990 身份 / 4,235,242 张图AdaFace 超参不调SGD lr 0.05、26 epochs、batch 256、梯度裁剪 1。测试LFW、AgeDB、CALFW、CPLFW、CFP-FP 五个标准 FR 基准10-fold 交叉验证分辨率 64/96/128 对应边缘/嵌入式/云端场景。FHE 参数SEAL 库含 bootstrapping 修改版128-bit 安全环次数 $2^{16}$、Hamming weight 192、默认模数 46-bit。基线MPCNNResNet32/44与 AutoFHE搜索结果从 CIFAR 迁移改造为 FR 输出头硬件 AWS r5.24xlarge。四、关键实验结果1. 端到端加密 FR 主结果Table 164×64方法骨干#Boot5 基准平均延迟 (s)RAMMPCNNResNet444389.649,845286GMPCNNResNet323185.607,367286GAutoFHEResNet32882.694,001286GCryptoFaceCryptoFaceNet4189.421,364269G对最快基线 AutoFHE快 2.9×、精度 6.73%对最准基线 MPCNN-R44快 7.2×省 8,481 秒精度仅差 0.22%。分数据集看LFW 98.87、AgeDB 89.45——比 MPCNN-R32 分别 1.85/6.43。2. 分辨率可扩展Table 1 下半分辨率 64→96→128PCNN 4→9→16平均精度 89.42→90.99→91.462.04%延迟仅从 1,364s 微增到 1,446s6%RAM 269G→277G——近分辨率无关延迟的实证。3. 延迟解剖Table 2MPCNN 的67.76%延迟耗在 bootstrappingCryptoFace 通过深度压缩把 bootstrapping 压到1 次仅占 10.34%大头回到卷积本身62.93%。ℓ2 多项式归一化只占 0.02%0.3–2 秒。4. 多项式逼近质量Figure 6五个测试集上 $t|y|_2^2$ 的分布各不相同分布感知插值的误差上界 $2^{-10}$ 全部达标——按数据分布定制近似优于通用 minimax。5. 混合质量基准IJB-B/IJB-C 上同样验证了优势论文 4.4 节。五、机制解释与讨论为什么分块 并行是 FHE 的正确抽象FHE 的成本结构有两个要点深度决定 bootstrapping 次数与槽位数决定单密文能装多大张量。整图 CNN 在这两个维度上都吃亏深多层卷积串联、大高分辨率需要更大的 N。分块把两个问题同时化解——每个 patch 小槽位够用、网络浅深度低而 patch 间没有串行依赖L 个 PCNN 天然并行。融合层用加法完成是 FHE 里最便宜的操作。这本质上是用空间冗余换时间深度与 FHE 的成本模型精确对齐。具体发现 → 凝练结论具体发现一bootstrapping 占 MPCNN 67.76% 延迟 —— 结论FHE 网络设计的首要 KPI 是乘法深度而非参数量/FLOPs具体发现二激活系数融入卷积省 2 level —— 结论同态约束下的架构优化要从层内做进层间代数重写具体发现三分辨率提升只加 6% 延迟 —— 结论显式表示的并行结构天然可扩展这是 MLP 密文推理做不到的。六、局限与工程启示局限绝对延迟仍是千秒级1,364s64×64——适合离线注册与低频验证不适合刷脸秒开5 个基准都是高质量对齐人脸自然场景鲁棒性未验证FHE 参数固定$2^{16}$ 环更大分辨率/更深的模型需要重调安全参数。工程启示隐私敏感生物识别的隐私路线端到端加密可减少服务器接触明文人脸数据的机会但其保障范围取决于威胁模型、密钥管理与系统实现它不能替代完整的合规评估也不能简单称为比差分隐私或脱敏“更强”。架构设计要为 FHE 重写深度换宽度、避免密文-密文乘法串联、激活用低次多项式——CryptoFaceNet 的三件套分块并行/深度最优块/分布感知多项式是可复用配方jigsaw 辅助任务补偿无权重共享的位置信息缺失——任何 patch 化架构尤其在无位置编码的轻量设定下都可借鉴明文训练 → C SEAL 密文推理的两段式管线官方仓库已提供是 FHE 落地的标准工程模板。七、源码复现官方仓库https://github.com/human-analysis/CryptoFace本地目录复现代码/2702-CryptoFace/官方提供PyTorch 明文训练管线 CMicrosoft SEALFHE 推理管线 两者衔接⚠️ 复现路径/未运行以下为源码结构与预期运行路径分析非实际运行结果。明文训练需 GPU 与 WebFace4MFHE 推理需编译 SEAL 与高内存服务器。7.1 仓库目录结构实际下载内容2702-CryptoFace/ ├── README.md # 环境配置、训练与 FHE 推理流程 ├── train.py / argument.py / config.yaml # ★ PyTorch 明文训练入口 ├── datasets.py / models/ # WebFace 数据加载 CryptoFaceNet 定义 ├── ckks.py / helper.py / utils.py # CKKS 编码/打包工具 └── cnn_ckks/ # ★ C SEAL FHE 推理网络参数导出与密文求值7.2 关键流程摘自官方 README 与仓库明文训练PyTorchconda create -n cryptoface python3.9 conda activate cryptoface conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia pip install mxnet wandb tqdm einops multipledispatch pip install numpy1.23.1 # 训练 CryptoFaceNetWebFace4M ArcFace jigsaw 辅助任务 python train.py --config config.yamlFHE 推理C/SEAL训练完成后把网络权重导出为 CKKS 可用的编码格式ckks.py负责 repeated/multiplexed packing 的模拟与参数导出在cnn_ckks/编译 SEAL 推理程序对加密人脸图执行 PCNN 并行求值 → 密文加法融合 → 多项式 ℓ2 归一化 → 密文 Match。7.3 复现步骤明文训练准备 WebFace4M遵循其许可协议按config.yaml训练SGD lr 0.05、26 epochs、batch 256、jigsaw α0.005、patch 32×32在 LFW 等五个基准上 10-fold 评测明文精度。FHE 参数按论文设置 SEAL 参数$N2^{16}$、默认模数 46-bit、special 51-bit满足 128-bit 安全。密文推理编译cnn_ckks/加密测试图像后运行端到端验证流程offline 注册 online 验证统计延迟/RAM 对照 Table 1/2。消融多项式 ℓ2 归一化的控制点选取Mean±Std与误差曲线复现Figure 6分辨率 64/96/128 的延迟-精度权衡Table 1。对照基线按论文 4 节改造 MPCNN/AutoFHE 的输出头为 FRAdaptiveAvgPool2d(2,2)→Linear→BN1d复现精度与延迟对比。7.4 密文计算链路的验证方式CryptoFace 的“端到端”需要按威胁模型理解服务器在没有密钥的情况下执行密文特征提取和匹配客户端持有解密密钥并最终得到匹配结果。复现时可先在明文环境逐层验证模型输出再将权重导出到 CKKS 推理实现最后检查明文与密文结果在近似误差范围内的一致性。CKKS 是近似算术方案密文计算不是逐位精确复刻浮点网络因此应记录多项式近似误差、量化尺度、模数链和匹配阈值而不是只比较单次是否 match。密文推理里耗时与内存应拆分记录。网络前向、密文旋转/重线性化、bootstrapping、密文传输和密钥生成都可能成为瓶颈。论文强调 bootstrapping 次数下降带来的收益但端到端产品还需测量客户端加密、网络上传下载及服务器并发时的资源占用。注册阶段与在线验证阶段的工作量不同适合分别评估低频身份注册可以容忍较长延迟在线验证则应重点考察尾延迟和并发能力。7.5 安全性与精度边界FHE 保护计算过程中的数据机密性但它本身不自动解决模型投毒、身份认证、密钥管理、拒绝服务或输出泄漏等系统问题。论文采用半诚实两方威胁模型意味着参与方会遵守协议但可能分析所见信息不能把这一假设等同于任意恶意服务器和恶意客户端下都具备完整安全保证。实际部署还需保护客户端私钥、限制验证结果查询频率并评估返回 match/no-match 标量是否会被大量探测利用。另一个关键权衡是近似归一化多项式只在训练/评测所覆盖的范数分布附近拟合得好。输入质量、摄像头或预处理变化可能改变范数分布因此部署前应使用目标数据重新检查拟合区间与阈值。论文的 64/96/128 分辨率实验展示了其方案在特定设置下的扩展性但高分辨率仍增加密文、存储与计算资源并不意味着延迟和成本完全不变。八、总结CryptoFace 把人脸识别全流程在密文中完成从概念做成了可复现的系统CryptoFaceNet 用 patch 化的浅层 CNN 混合体同时压制乘法深度与张量规模深度最优块与分布感知多项式把非线性的成本压到边角最终 1 次 bootstrapping、快 7 倍、精度不掉、分辨率近免费扩展。对生物识别行业它给出的是一条可证明安全的合规路线图对 FHE 社区它示范了如何按同态成本模型从零设计网络——而不是把明文网络硬塞进密文。延伸阅读建议CKKS 方案与 SEAL 库FHE 基础、MPCNN/AutoFHEFHE CNN 的 packing 与深度优化、AESPAHermite 激活、ArcFace/AdaFaceFR 损失与基准、模板恢复攻击端到端加密的动机、jigsaw puzzle 自监督位置信息辅助任务。九、引用信息论文引用Wei Ao, Vishnu Naresh Boddeti. CryptoFace: End-to-End Encrypted Face Recognition. CVPR, 2025.论文 PDFhttps://openaccess.thecvf.com/content/CVPR2025/papers/Ao_CryptoFace_End-to-End_Encrypted_Face_Recognition_CVPR_2025_paper.pdf官方仓库https://github.com/human-analysis/CryptoFace
