计算机科学与探索

作者：张溢文, 蔡满春, 陈咏豪, 朱懿, 姚利峰

单位：中国人民公安大学 信息网络安全学院，北京 100038

关键词：深度伪造,视觉自注意力模型,自监督预训练模型,低秩自适应,参数高效微调

近年来，随着深度伪造技术趋于成熟，换脸软件、合成视频已经随处可见。尽管深度伪造技术为人们带来了娱乐，但同时也为不法分子提供了滥用的机会。因此，深度伪造检测技术的重要性也日益凸显。现有的深度伪造检测方法普遍存在跨压缩率鲁棒性差、跨数据集泛化性差以及模型训练开销大等问题。为解决上述问题，提出一种融合多种参数高效微调技术的深度伪造检测方法，使用以掩码图像建模（MIM）自监督方法预训练的视觉自注意力模型作为主干，使用克罗内克积改进的低秩自适应方法对预训练模型的自注意力模块参数进行微调，同时采用并行结构加入卷积适配器对图像局部纹理信息进行学习，以增强预训练模型在深度伪造检测任务中的适应能力，采用并行结构引入经典适配器对预训练模型的前馈网络微调以充分利用预训练阶段学习到的知识，使用多层感知机代替原预训练模型分类头实现深度伪造检测。在六个数据集上的实验结果表明，该模型在可训练参数仅有2×107的情况下，在六个主流数据集上实现了平均约0.996的帧水平AUC。在跨压缩率实验中，帧水平AUC的平均下降为0.135。在跨数据集泛化性实验中，帧水平AUC达到了平均0.765。

来源：2024年第12期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2024年第12期