GFPGAN、CodeFormer 与 GPEN 修复模型对比

GFPGAN、CodeFormer 与 GPEN 均属于盲人脸修复模型：它们接收退化受损的人脸并生成更清晰的人脸，各自利用了不同类型的学习人脸先验。在 VisoMaster Studio 中，它们与 GFPGAN 1024、RestoreFormer++ 及 VQFR v2 一同在换脸完成后针对替换的人脸运行。实际使用中的差异主要在于各个模型运行的尺寸、是否具备保真度控制以及各自的授权协议。哪款模型视觉效果最好取决于您的素材，因此建议在您自己的片段中进行对比。

画质修复在换脸流程中的位置

换脸模型重绘五官内部区域，有时输出尺寸较小，例如 Inswapper 的 128 × 128（参见换脸模型对比）。Studio 会将该人脸对齐至 512 × 512 的裁剪区域，修复模型在此裁剪区域上运行，然后再融合回画面中。修复模型仅改变人脸区域；Real-ESRGAN 等全画面超分辨率放大属于独立的步骤。

在右侧面板中，您可以开启画质修复并设置修复强度。修复强度表示修复后人脸与未修复换脸结果之间的混合比例，范围为 0 到 100，默认值为 100。修复模型、保真度权重以及次要修复模型位于高级设置中。默认模型为 GFPGAN v1.4。

修复模型概览

在 Apple Silicon Mac 上的 Studio 0.3.0 自动化测试运行中，上述每个模型均成功生成了输出。该测试验证了每个模型均能正常工作，并未对画质进行排名或测量运行速度。无论 Studio 的 GPL-3.0 源代码协议如何，各模型均保留自身的授权协议。

GFPGAN

GFPGAN 由腾讯优图实验室（Tencent ARC）的 Xintao Wang、Yu Li、Honglun Zhang 和 Ying Shan 提出（论文《Towards Real-World Blind Face Restoration with Generative Facial Prior》，CVPR 2021）。其 README 说明它利用预训练人脸 GAN（如 StyleGAN2）中的先验来进行盲人脸修复。模型库将 v1.4 描述为比 v1.3 能生成稍多的细节和更好的身份特征，并指出较新的版本（如 v1.3 对比 v1.2）并不总是更好，因此合适的模型取决于您的使用目的和输入素材。

GFPGAN 采用 Apache-2.0 协议，但其 LICENSE 文件列出了具有独立条款的第三方组件，包括 NVIDIA 的 StyleGAN2 许可证以及基于 CC BY-NC-SA 4.0 协议改编自 DFDNet 的代码。

GFPGAN 1024 并非腾讯优图官方发布版本。它是由 GitHub 用户 LeslieZhoa 重新训练的 GFPGAN 模型，接收 512 尺寸输入并返回 1024 尺寸输出；Studio 使用其 ONNX 转换版本。Studio 会在融合前将 1024 的结果缩放回 512，因此人脸最终依然保持在 512 的裁剪尺寸。

CodeFormer

CodeFormer 由南洋理工大学 S-Lab 的 Shangchen Zhou、Kelvin C.K. Chan、Chongyi Li 和 Chen Change Loy 提出（论文《Towards Robust Blind Face Restoration with Codebook Lookup Transformer》，NeurIPS 2022）。正如标题所述，它通过让 Transformer 在预先学习的离散码本中查找对应项来修复人脸。

CodeFormer 具有一个介于 0 和 1 之间的保真度权重 w。其 README 指出，较小的 w 倾向于产生质量更高的修复结果，而较大的 w 则倾向于产生保真度更高的结果。Studio 在高级设置中将此参数提供为保真度权重，默认值为 0.9。

其许可协议为 NTU S-Lab License 1.0，允许出于非商业目的重新分发和使用，并要求如需商业使用须联系作者。

GPEN

GPEN 由阿里巴巴达摩院的 Tao Yang、Peiran Ren、Xuansong Xie 和 Lei Zhang 提出（论文《GAN Prior Embedded Network for Blind Face Restoration in the Wild》，CVPR 2021）。模型名称直观描述了其方法：将 GAN 先验嵌入到修复网络内部。代码仓库中提供了 256 和 512 模型；README 说明 1024 和 2048 模型于 2023 年 2 月在魔搭社区（ModelScope）发布，且“由于商业原因”，公开的 512 模型并非作者手中效果最好的版本。代码仓库中没有许可证文件，因此在商业使用前须与作者核实。

在选择尺寸时，Studio 运行 GPEN 的方式至关重要。人脸裁剪区域为 512 × 512：

• GPEN 256 将裁剪区域缩小至 256，进行修复，再将结果放大回 512。
• GPEN 512 直接在该裁剪区域上运行。
• GPEN 1024 和 2048 将裁剪区域放大至 1024 或 2048，进行修复，再将结果缩小回 512。

因此，选择更大的 GPEN 模型并不会在最终输出中生成更大尺寸的人脸；它改变的是处理人脸的具体训练模型，以及每一帧所需消耗的计算工作量。

RestoreFormer++ 与 VQFR v2

RestoreFormer++ 由 Zhouxia Wang 及其合著者提出（TPAMI 2023），是 RestoreFormer（CVPR 2022）的扩展版本。其 README 说明它采用全空间注意力机制与面向重建的高质量先验，并引入了扩展退化模型以便在更逼真的退化人脸上进行训练。该模型采用 Apache-2.0 协议，在 Studio 中以 512 尺寸运行。

VQFR 由南开大学、腾讯优图实验室等机构的 Yuchao Gu 及其合著者提出（ECCV 2022 口头报告）。它将矢量量化字典与并行解码器相结合。v2 模型增加了从 0（最高质量）到 1（最高保真度）的保真度比例，Studio 使用与 CodeFormer 相同的保真度权重设置来控制该参数。该模型采用 Apache-2.0 协议，LICENSE 文件中列出了第三方组件。

次要修复模型

Studio 支持运行第二个修复模型，并具备独立的模型选择、对齐方式、保真度权重和混合比例设置。默认情况下，它紧接在第一个修复模型之后运行；此外还提供了一个选项，可将其应用在处理流程的末尾——即在人脸编辑器之后、最终模糊和压缩步骤之前。两个修复模型均可使用列表中的任意模型。

如何在自己的素材上对比修复模型

1. 首先完成换脸设置，并挑选关键的一帧：特写镜头、运动模糊画面、牙齿或眼睛区域。
2. 在右侧面板中开启画质修复。
3. 在高级设置中选择修复模型。对于 CodeFormer 和 VQFR v2，还可以尝试调节保真度权重。
4. 切换到对比视图查看原图旁的结果，并在同一帧画面上逐一检查各模型的效果。首次使用某款模型时会自动下载。
5. 针对决定保留的模型调节修复强度，只有当第二个修复模型确实能改善您关注的画面帧时，才添加次要修复模型。

如果片段的某一部分需要与其他部分不同的修复设置，可以使用参数标记。在画面中出现多个人物时，每张脸均保留独立的设置；参见视频中多人换脸操作指南。有关该模型阵容与 FaceFusion 的对比，参见 VisoMaster vs FaceFusion；有关 Mac 端的配置说明，参见 VisoMaster 在 Mac 上的使用。

知情同意与使用规范

请仅使用您有权使用的人脸：您自己的人脸，或已获得明确知情同意的人脸。请为合成媒体添加清晰标识并遵守当地法律。VisoMaster Studio 的相关规范请参见使用规范。

常见问题

我应该使用哪款修复模型？

这没有单一的标准答案。GFPGAN 自身的 README 指出，合适的模型取决于您的使用目的和输入素材。建议先从默认的 GFPGAN v1.4 开始，然后在对比视图中针对同一帧画面分别尝试 CodeFormer、GPEN 以及其他模型。

GPEN 2048 会比 GPEN 512 让面部更清晰吗？

并不会单纯因为输出尺寸而更清晰。在 Studio 中，每个 GPEN 模型的结果最终都会缩放回 512 × 512 的人脸裁剪尺寸。2048 模型是在放大后的裁剪图像上运行的不同训练模型，因此建议在您自己的素材上进行对比。

保真度权重有什么作用？

它仅适用于 CodeFormer 和 VQFR v2。两个项目均说明，较小的数值偏向于更好的修复质量，而较大的数值偏向于更贴近输入的人脸特征。Studio 的默认值为 0.9。

我可以将 CodeFormer 用于商业项目吗？

CodeFormer 的 S-Lab License 1.0 仅涵盖非商业用途；如需商业使用，要求联系作者。GFPGAN、VQFR 和 RestoreFormer++ 采用 Apache-2.0 协议（GFPGAN 与 VQFR 包含第三方组件），而 GPEN 代码仓库没有许可证文件。请自行核对各项授权协议。

在 visomaster.studio/download 获取安装程序。