xmlns="http://www.w3.org/2000/svg"

style="display:

Models

Authors:Marija

Ivanovska,

Summary:

开源多模态大语言模型中的突发变形攻击检测

摘要

面部变形攻击（Face

morphing

attacks）威胁着生物特征验证的安全，但大多数变形攻击检测（MAD）系统需要特定任务的训练，且对未知攻击类型的泛化能力较差。

与此同时，开源多模态大语言模型（MLLMs）展示了强大的视觉语言推理能力，但其在生物特征取证中的潜力尚未得到充分挖掘。

本文首次对开源

MLLMs

零样本评估，使用公开权重和标准化的可复现协议。

在多种变形技术下，许多

MLLMs

在无需微调或领域自适应的情况下表现出非凡的判别能力。

其中，LLaVA1.6-Mistral-7B

达到了最先进的性能，在等错误率（EER）方面比极具竞争力的特定任务

MAD

23\%23%。

结果表明，多模态预训练可以隐式编码指示变形伪影的细微面部不一致性，从而实现零样本取证敏感性。

关键词：多模态大语言模型

(MLLMs),

引言

变形攻击通过使单个变形图像能够通过多个身份的验证，破坏了生物特征验证的完整性。

现有的

MAD

方法往往难以识别未见的攻击类型，且缺乏可解释性。

最近

MLLMs

的进展表明，通过视觉和文本表示的对齐，模型具备了突发的推理能力，能够捕捉图像的不一致性。

本研究对开源

MLLMs

在单图像变形攻击检测（S-MAD）中进行了首次系统分析。

我们评估了一系列最新的

MLLMs，采用严格的零样本协议来隔离模型推理面部真实性的固有能力。

研究发现，LLaVA1.6-Mistral-7B

作为一个新的开源基准，其表现甚至超过了专门为此任务训练的最先进系统。

我们的贡献包括：(i)

MLLM

突发视觉语义推理及其在取证中应用前景的见解。

/>

2.

相关工作

多模态大语言模型：从

CLIP、Flamingo

等通过指令微调实现强大泛化能力的模型。

它们对齐细粒度视觉特征与语义理解的能力，使其在伪造检测任务中极具潜力。

仅视觉变形攻击检测：现有的深度学习方法（如

CNN、小波网络等）在域内准确率高，但泛化性有限。

一些无监督或自监督方法尝试在无标签的情况下检测伪影。

用于人脸伪造的视觉语言模型：已有研究探讨了

MLLMs

领域的研究较少。

本研究填补了这一空白，揭示了开源

MLLMs

公式化为一个零样本视觉推理问题。

令X

\mathcal{X}

style="margin-right:

0.1464em;">X表示人脸图像空间，Y

=

\mathrm{no}\}

style="margin-right:

0.0822em;">Y={yes,no}为二元标签空间（yes

为变形攻击，no

(1)

style="margin-right:

0.1389em;">P

style="height:

0.0278em;">θ​

style="height:

0.15em;">(

style="margin-right:

0.016em;">y∣x,p)(1)

style="margin-right:

0.0278em;">θ为模型参数，p

pp为文本提示词。

决策规则为：

=

\mathcal{Y}}P_{\***ta}(\mathbf{y}\mid

\mathbf{x},p)

(2)

style="height:

-0.1944em;">^​

style="height:

0.1944em;">=ar

style="margin-right:

0.0139em;">g

style="height:

0.016em;">y∈

style="margin-right:

0.0822em;">Y

style="top:

-3em;">max​

style="height:

0.8804em;">

style="margin-right:

0.1389em;">P

style="height:

0.0278em;">θ​

style="height:

0.15em;">(

style="margin-right:

0.016em;">y∣x,p)(2)

LLM

logits

\mathbf{z}_nz

style="height:

0.05em;">n​

style="height:

0.15em;">并导出下一个

token

0.1389em;">P(t

style="height:

0.05em;">n+1​

style="height:

0.2083em;">∣t

style="height:

0.05em;">1​

style="height:

0.15em;">,…,t

style="height:

0.05em;">n​

style="height:

0.15em;">)=softmax(z

style="height:

0.05em;">n​

style="height:

0.15em;">).(3)

/>我们提取与

(4)

style="margin-right:

0.1389em;">P

style="height:

0.0278em;">θ​

style="height:

0.15em;">(

style="margin-right:

0.0359em;">y∣x,p)=

style="height:

-2.314em;">exp(

style="margin-right:

0.044em;">z

style="height:

0.05em;">yes​

style="height:

0.2861em;">)+exp(

style="margin-right:

0.044em;">z

style="height:

0.05em;">no​

style="height:

0.15em;">)

style="top:

-3.677em;">exp(

style="margin-right:

0.044em;">z

style="height:

0.0359em;">y​

style="height:

0.2861em;">)​

style="height:

0.9721em;">,

style="margin-right:

0.0359em;">y∈{yes,no}.(4)

P_{\***ta}(yes

p)

style="margin-right:

0.1389em;">P

style="height:

0.0278em;">θ​

style="height:

0.15em;">(yes∣x,p)表示模型认为输入图像是变形攻击的概率。

我们使用统一的提示词以确保决策上下文的一致性，且不提供任何具体的法证提示。

4.

实验设置

评估指标：使用解码器最后一层的

logits

计算连续得分，并报告等错误率（EER）和在固定

MACER

BSCER。

测试数据：在五个广泛使用的单图像变形数据集上进行评估：FRLL-Morphs、MIPGAN

Greedy-DiM，涵盖了从基于地标的变形到基于

GAN

的表现。

结果显示：

1. 中型模型（7B-17B

   参数）通常表现最佳，LLaVA1.6-Mistral-7B

   EER

   2.75\%2.75%，达到最优。

2. 虽然大模型表现优于小模型，但在某些情况下不及中型模型，说明模型规模并不等同于取证敏感性的提升。

3. 效率与准确率权衡（图

   2）显示中型模型在计算成本和性能之间达到了最佳平衡。

MAD

的比较：LLaVA1.6-Mistral-7B

EER

23\%23%，在

BSCER@MACER(5%)

21\%21%。

它远超基于

CLIP

的零样本方法（CLIP-ZSL）以及在

SMDD

UBO-R3）。

提示词设计的影响：图

显示，对于中小型模型，复杂的提示词（包含伪影指导或

ROI

指导）反而会降低性能，可能是因为额外信息引入了混淆。

而大模型通常能从丰富的语义指导中受益。

/>

视觉语言可解释性：通过分析

LLaVA1.6-Mistral-7B

4），我们发现模型的决策与视觉伪影（如不自然的边缘、纹理不一致等）高度相关，具有良好的可解释性。

/>

6.

(Conclusion)

本项工作提出了一套评估协议，并建立了首个用于评估开源多模态大语言模型（MLLMs）在单图像人脸融合攻击检测（S-MAD）中表现的全面零样本（zero-shot）基准测试。

研究分析了多种近期的

MLLMs，并将其与在不同设计范式和监督机制下开发的任务特定尖端（SOTA）融合检测器进行了对比。

研究结果表明，尽管

MLLMs

最初是为通用的视觉-语言推理而非生物特征取证而训练的，但它们对人脸融合伪影展现出了显著的潜在敏感性。

这说明大规模多模态对齐赋予了这些模型可迁移的取证推理能力——即在没有显式监督的情况下，能够将语义理解与细微的图像不一致性联系起来。

值得注意的是，LLaVA1.6-Mistral-7B

SOTA

架构。

除了检测准确率外，MLLMs

相比传统

方法还具有多项优势：

• 它们以真正的零样本方式运行；
• 能够通过基于提示（prompt）的调节适应未见的攻击类型；
• 能够产生人类可解释的输出，从而实现更透明和可验证的决策。

这种可解释的响应在安全关键或法律取证背景下尤为重要，因为在这些场景中，可解释性、问责制和信任度是必不可少的。

此外，单一基座模型在不同生物特征篡改任务中的泛化能力，凸显了其作为统一视觉完整性评估框架的潜力。

这些发现为在生物特征取证中使用基座模型开辟了一个充满前景的方向。

未来的工作将探索轻量化适配或微调策略，以在保持可解释性并降低计算成本的同时，进一步提高准确率。

7.

辅助技术的声明

在准备本工作的过程中，作者使用了

ChatGPT

以提高手稿的可读性和语言质量。

使用该工具/服务后，作者根据需要对内容进行了审查和编辑，并对发表文章的内容承担全部责任。

资助

(Funding)

本工作所展示的研究得到了斯洛文尼亚研究机构

(ARIS)

Link:2602.15461v1

部分平台可能图片显示异常，请以我的博客内容为准