。

尽管大型语言模型#xff08;LLMs#xff09;被视为向人工通用智能迈进的一大步#xff0c;在许多任务中表现出色#xff0c;但目前尚不清楚…Large

Language

情感智能对我们的日常行为和互动产生了显著的影响。

尽管大型语言模型LLMs被视为向人工通用智能迈进的一大步在许多任务中表现出色但目前尚不清楚LLMs是否能真正理解心理情感刺激。

理解和响应情感线索使人类在解决问题方面具有独特的优势。

在这篇论文中我们迈出了探索LLMs理解情感刺激能力的第一步。

为此我们首先对45个任务进行了自动实验使用了各种LLMs包括Flan-T5-Large、Vicuna、Llama

2、BLOOM、ChatGPT和GPT-4。

我们的任务涵盖了确定性和生成性应用代表了全面的评估场景。

我们的自动实验表明LLMs具有情感智能并且可以通过情感提示我们称之为“EmotionPrompt”它将原始提示与情感刺激结合起来来提高其性能例如在指令诱导任务中提高了8.00%的相对性能在BIG-Bench中提高了115%。

除了可以使用现有指标自动评估的确定性任务之外我们还进行了106名参与者的人类研究以评估使用普通和情感提示的生成任务的质量。

我们的人类研究结果表明EmotionPrompt显著提高了生成任务的性能在性能、真实性和责任感指标上平均提高了10.9%。

我们提供了关于为什么EmotionPrompt对LLMs有效以及可能影响其性能的因素的深入讨论。

我们认为EmotionPrompt为探索跨学科社会科学知识以促进人机LLMs交互开辟了一条新的途径。

大型语言模型在各种应用中的表现展示了前所未有的性能。

本文是首次研究旨在评估和分析LLM如何理解情感智能这是人类的关键特性。

我们为这种分析设计了EmotionPrompt。

我们在6个LLM上的45个任务的标准化评估显示了积极的结果LLM可以理解和通过情感刺激得到增强。

我们的人类研究还表明通过情感智能增强的LLM可以达到更好的性能、真实性和责任感。

展望未来我们看到LLM和心理学交汇处有许多开放问题和机遇。

首先尽管我们在本文中展示了一些注意力可视化以理解EmotionPrompt成功的理由但从心理学的根本层面和模型训练来看仍有更多工作要做例如预训练技术如何影响情感刺激的表现如何通过将心理现象融入预训练来提高性能等。

我们相信更多的分析和理解可以帮助我们更好地理解LLM情感智能背后的“魔法”。

其次尽管本文得出结论LLM可以理解和通过情感智能得到增强但实际上这与关于人类情感智能的现有研究相冲突。

现有的心理学研究表明人类的行为或态度可能受到情绪的影响但他们的推理或认知能力不能简单地通过添加情感刺激来增强。

然而这种差异背后的奥秘仍然不清楚我们留给未来的工作来找出人类和LLM情感智能之间的实际差异。