观看作者讲解回放

总结来说我们提出了一个新颖且具有挑战性的基准测试AutoEvalVideo用于全面评估大型视觉-语言模型在开放式视频问答中的表现。

AutoEvalVideo的全面性体现在两个方面1)

AutoEval-Video构建了跨越9个技能维度的开放式视频问题涵盖了感知、理解和生成的能力2)

AutoEval-Video包含了新收集的视频覆盖了超过40个不同的主题。

为了高效评估对开放式问题的回应我们采用了基于大型语言模型LLM的评估方法但与仅仅提供参考答案不同我们为每一个实例视频-问题对标注了独特的评估规则。

为了最大化这些规则的鲁棒性我们开发了一种新颖的对抗性标注机制。

通过使用特定实例规则作为提示GPT-4作为一个自动评估器能够实现大约97.0%的稳定评估准确率与人类评估者94.9%

97.5%的准确率相当。

此外我们在AutoEval-Video上评估了十一个大型视觉-语言模型的性能。

其中GPT-4V视觉显著优于其他模型达到了32.2%的准确率。

然而与人类72.8%的准确率相比仍有相当大的提升空间。

通过进行广泛的案例研究我们揭示了GPT4V的几个缺点例如时间理解和跨帧理解能力有限以及回应不够切题等。

论文地址https://arxiv.org/abs/2311.14906

代码链接https://github.com/XiuyuanChen/AutoEval-Video

Research

本文首先探讨了大型模型从文本单模态到视频多模态的发展历程。

通过以人与大模型对话的形式呈现的图像清晰地展示了多模态模型的演变。

从图中可以观察到信息交流从单一的文本模态逐步扩展至图片模态最终发展到可以进行视频交互。

目前大多数研究工作集中在图片和文本这两个模态上。

然而随着抖音、B站和YouTube等短视频平台的兴起仅依靠图片模态传递的信息开始显得相对有限。

这促使了对视频内容深入理解的模型的发展使得这些模型能够与人类就视频内容进行文字交互并提供相应的回应。

为了评估视频理解模型对视频内容的理解程度可以通过视频问答形式来进行这也成为了评测这类模型能力的主要方法。

MSRVTTQA、TGIFQA

等众多视频数据集。

然而这些数据集存在一些不足。

首先它们提出的问题的任务维度具有局限性。

其次这些数据集的问答任务大多采用多选题形式有些数据集的问题与视频甚至采用了预设的模板和剧本。

多选题形式因答案固定便于使用如准确率这样的定量指标来评估模型表现从而避免了对开放式回答的评测。

然而这种形式对于生成式视频理解模型的输出格式不太友好。

在多选题场景下非生成式模型可以把任务视为分类任务即在所有候选答案中输出概率分布并选择最符合的选项。

这种做法在一定程度上简化了视频问答任务。

例如在包含

ABCD

理想情况下模型应该能够像与人类交谈的机器人一样回答问题。

因此从适用性角度出发应将任务框架从多选题转变为单选题或简答题格式要求模型以简明的话语回答问题而非从多个候选答案中选择。

这是当前视频评测机制存在的主要问题之一。

另一个问题在于如

数据集其在标注数据时采用的视频和问题具有预设的脚本或模板。

具体操作是先划分任务维度再根据任务维度制定问题模板和视频剧本有目的地构造数据。

然而这种方法并不适宜因为在全面评测视频理解能力时问题的提出方式和视频内容应该是多样化的而非格式化和受限的。

Motivation

正如前面所讨论的现有研究工作中存在的主要问题可以分为三类任务维度划分过于简单、采用多选题的任务形式、以及问题和视频的模板化。

然而其中最关键的问题是如何有效地评测开放式回答。

在对视频内容的简答题进行评分时评卷老师拥有一份参考答案但学生提交的答案往往千差万别这使得量化评分变得复杂。

在此情境中评分通常依赖于详尽的评分准则其中明确列出了关键的得分点和分数分配方式。

受到这种评分模式的启发本文希望构建一套基于详细评分规则的评测体系并让大型语言模型LLM扮演评判的角色。

这样的评测体系将允许对模型生成的开放式答案进行更精确和公正的评估。

通过设定明确的评分准则和得分点LLM将能够评估答案的质量从而提高评分的一致性和可靠性。

AutoEval-Video

在AutoEval-Video的标志性工作中作者首先根据对推理能力的要求划分出九个评测维度。

这些任务维度进一步被分类为三种类型感知、认知和生成。

感知类任务主要考察模型对视频中基本信息的识别和提取能力认知类任务在感知的基础上要求模型进行更深层次的推理和思考包括时间空间推理、因果推理等生成类任务期望模型能够根据给定的视频内容和指令生成描述性文本或广告词等。

为了实现这些任务维度的有效评测本工作会训练专门的人员使他们能够根据这些维度平衡地提出问题并从YouTube等平台寻找合适的视频素材进行标注。

AutoEval-Video的评测流程和数据样例如图所示。

流程本身相当简洁每条数据包括一个视频、一个相关问题以及一个对应的评判规则。

模型需要根据视频内容回答问题其提供的答案随后将与评判规则一同输入到大型语言模型LLM中进行评估。

在这个实验中使用的是目前最先进的LLM即GPT-4它作为评判机制能够基于提供的输入给出判断依据和结论。

AutoEval-Video的视频素材来源于YouTube标注人员根据自身的想象力并遵循特定的任务要求来构造问题。

展示的数据包括文字标注、视频长度及内容主题的分布等统计特征。

种类繁多的网络视频使得AutoEval-Video的主题分布显得尤为多样化。

这些视频主要包括运动记录、Vlog、生活记录等内容。

此外还涵盖了交通记录视频、游戏实况、直播等多种类型为模型提供了丰富的场景和背景以便进行更全面和深入的视频内容理解和分析。

Piplines

本项目采用的规则标准流程较之前的工作拥有更细化的规则设置。

在GPT工具中评分系统通常基于统一的情节即给定一段描述GPT根据自身模型回答并提供参考答案评分则从语句通顺性或语法错误等角度进行主观量化评分范围为0到5分。

而AutoEval-Video则将规则细化到每个样本点具体地每个样本都会单独构造规则包括视频描述、问题本身及裁分点以及对GPT返回格式的具体约束。

为确保GPT根据这些规则给出的判断既公平又客观本文引入了对抗性标注机制。

具体操作如AutoEval-Video所述规则制定团队负责维护和更新规则并引入另一标注团队作为“攻击团队”该团队会根据旧规则编写可能引发GPT误判的答案。

所谓“误判”是指答案在规则设定的场景下GPT判断结论与人类判断结果不一致的情况这类答案被称为“有效攻击答案”。

通过攻击答案的提出激励规则得以不断更新。

整个过程在攻击和规则更新中循环进行最终形成一套完备、客观公平且具有说服力的规则体系。

此外作者还设立了奖励机制以激励两队人员在标注过程中保持积极主动性并维护标注工作的对抗性竞争性确保标注过程的质量和效率。

Experiment

下面呈现的是该平台上对几个状态最先进模型Sota模型的评测结果其中包括了相应的case

在实验结果的展示中左边的表格展示了几个Sota模型在AutoEval-Video上的评测结果显示出GPT-4V在视频理解方面的性能远超其他模型。

然而与人类的表现相比GPT-4V仍然有较大的提升空间。

右边的表格则展示了在三种不同配置下的消融实验结果统一提示、使用初始规则进行判断以及在对抗性迭代后使用更新规则进行判断。

在这三种配置下GPT-4V的判断准确率几乎可以与普通人的判断能力相媲美而判断结果的Ground

这些实验结果展示了AutoEval-Video在自动视频评测领域的潜力表明通过精细化的规则和适当的配置LLM的判断能力可以接近甚至达到人类水平。

Case

除了量化实验结果之外作者还对包括GPT-4V在内的多模态模型进行了深入的案例研究。

结果表明尽管GPT-4V在多模态处理方面具有先进的能力但在处理多帧连续信息、理解时序特征以及物体运动等方面的表现仍有待改进。

特别是该模型在处理视频内容时其输出往往显得冗长且不够简练。

在评估其他多模态模型时作者发现它们普遍存在几个关键问题首先是幻觉问题其次是输出语序的混乱。

幻觉问题的具体表现在于模型有时会为其错误的答案编造自我解释从而创造出视频中实际不存在的视觉信息。

这导致模型的输出与视频内容不符损害了结果的可靠性和准确性。

而对于输出中出现乱码以及语序混乱的问题作者认为是被评测模型本身所用到的LLM语言能力不足所导致的。

本篇文章由陈研整理

TIME源起于2019年旨在发扬科学思辨精神邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索加强思想碰撞链接全球AI学者、行业专家和爱好者希望以辩论的形式探讨人工智能和人类未来之间的矛盾探索人工智能领域的未来。

迄今为止AI

TIME已经邀请了2000多位海内外讲者举办了逾700场活动超800万人次观看。

我知道你