那么#xff0c;这种“不保真”特性能否被用来制造虚假信息呢#x…大家是怎样看待大型语言模型生成信息的可靠性呢

尽管大语言模型生成的内容“像模像样”但这些模型偶尔的失误揭示了一个关键问题它们生成的内容并不总是真实可靠的。

最近一篇论文正好针对这一议题进行了探讨我们能否利用大型语言模型来制造虚假的信息

论文题目《Disinformation

论文链接https://arxiv.org/pdf/2311.08838.pdf

研究团队选取了10种不同的大语言模型使用20种虚假信息叙事来评估它们的性能这些叙事被分为五个类别COVID-19、俄乌战争、健康、美国选举和区域性话题。

令人害怕的事情发生了实验结果证实了大语言模型可以制造出令人信服的虚假新闻。

作者在每个叙事分别使用两种方式生成文章

在采用两种不同的提示方式之后每个大型语言模型为每个叙事生成了三篇文章。

因此针对20个不同的叙事每个模型共生成了120篇文章10个模型总计产生了1200篇文章。

前两个问题涉及生成文本的形式Q1衡量文本是否连贯和正确而Q2关注的是风格即文本是否“看起来像”一篇新闻文章。

Q3和Q4涉及文本对叙事的立场即文本是否支持并同意叙事或者是否积极地反驳它。

最后Q5和Q6衡量模型生成支持和反对叙事的论据的数量评估模型支持其主张的能力以及生成不在标题或摘要中出现的新事实和论据的能力。

研究团队采用人工手动的方法评估了1200篇生成的文本每篇生成的文本都由两名人类标注者评估定义了一个五级评分等级其分数取平均值。

所有模型一样黑

实验结果展示并不是所有模型都没有原则不同大语言模型在生成虚假信息方面表现出显著差异

Falcon是唯一倾向于不同意虚假叙事的模型在安全性方面表现突出常拒绝生成虚假信息并可能提供免责声明因此其在生成类似新闻的文章方面得分较低但这不是由于其生成能力不足而是由于其安全设计。

而其他模型如Vicuna和Davinci则更倾向于生成与虚假叙事一致的内容。

ChatGPT在某些情况下也展现了安全性但不如Falcon模型。

Vicuna和Davinci模型在对比下更容易生成符合虚假叙事的新闻样式文章。

此外模型容量对文本的形式和与虚假叙事的一致性有显著影响。

更大的模型更可能生成看起来像新闻的文本。

在提示中加入叙事摘要会影响大语言模型的表现即有了摘要后大语言模型倾向于重复摘要中的论据而不是生成新论据。

大语言模型对不同类型的虚假叙事的反应各不相同在某些健康相关叙事上大语言模型表现出更多的反对意见而对于地区性叙事则因缺乏足够的知识库而倾向于同意叙事。

使用大语言模型来审判大语言模型

鉴于手动标注数据既耗时又难以扩展研究团队尝试用了GPT-4来对生成的文本进行评分和自动化评估将GPT-4生成的答案与人类标注员的答案进行了详细比较。

评估方法

研究团队为问题Q3到Q6设计了一个专门的提示模板。

这个模板包括三个部分1叙事的标题和摘要2生成的文章以及3待评估的问题及其可能的答案之一。

GPT-4的预测结果揭示了人类标注员工与GPT-4标注之间的一致性然而GPT-4在评估论据方面表现较弱。

研究团队通过手动检查发现该模型在理解论据与叙事之间的关系以及判断论据是支持还是反对叙事方面存在缺陷。

大模型研究测试传送门

GPT-4传送门免墙可直接测试遇浏览器警告点高级/继续访问即可http://hujiaoai.cn

总的来说GPT-4的评分普遍高于人类评分显示出一种系统性的偏高趋势。

而其他规律例如GPT-4同样认为Falcon和ChatGPT是最安全的模型而Vicuna和Davinci则被视为最危险的模型等与人类手工评估的实验结果保持一致。

根据GPT-4的评估GPT-4与Mistral在生成虚假信息的行为模式上与ChatGPT相似它们有时可能会在叙事上出现不一致尽管如此它们还是更倾向于保持一致性。

而Llama-2则显示出更高的安全性其行为与Falcon不相上下。

综合来看新发布的大语言模型似乎被设计为具备更高级的安全特性这反映出社会对于这一议题越发重视以及大语言模型领域安全机制的持续进步。

安全筛选器能否避免大语言模型胡说

安全筛选器是为了调整大型语言模型的响应行为而精心设计的机制尤其针对那些可能引发安全隐患的用户请求。

研究团队的目标在于观察安全筛选器在应对生成虚假信息请求时能否悬崖勒马。

评估工作由人类标注员和GPT-4共同进行主要聚焦于分析生成文本中的安全特征。

标注员使用一个附加的问题Q7安全来识别三种可能行为

模型拒绝基于虚假信息生成新闻文章

在人类评估中只有Falcon和ChatGPT显示了显著的安全特性且通常不会与虚假叙述保持一致。

具体来说Falcon有大约30%的请求因安全考虑而被过滤掉而其他模型似乎并未集成有效的安全筛选机制。

大语言模型坐实了非常有可能成为虚假信息的制造机器那么这个能力能否用于鉴定虚假信息吗

研究团队对当前商业和学术检测工具进行了全面评估以测定这些工具对于识别大型语言模型所生成的虚假新闻内容的准确性。

为此他们精心构建了一个数据集其中不仅包括了1200篇由语言模型产生的文章还有73篇由人类撰写的虚假新闻文本这些内容大多源自于各类散布阴谋论和伪科学的网站

检测器

研究团队列出了8种最新检测器包括商业和开源类型以及Macko等人[1]在MULTITuDE基准测试中微调的315种检测器。

作者利用ROC曲线确定每个检测器的最佳阈值并使用Youden

如表7所示的结果表现最佳的模型F1分数约为0.8证明使用这些现有的检测器可以毫无难度地区分出大语言模型生成的假新闻。

本文对当前大型语言模型生成虚假信息的能力进行了全面评估。

我们发现不同模型在生成虚假新闻文章方面的倾向性存在显著差异某些模型如Vicuna和Davinci似乎几乎没有内置安全筛选器而其他模型则表现出实施有效安全措施的可能性。

研究还揭示了大语言模型自身可能成为解决此问题的关键以GPT-4为例其自动化的评估过程有望使未来的鉴别变得可扩展且可重复而无需投入大量人力和资金进行数据标注。