。

近十年来#xff0c;研究者致力于发现和利用语音生物标志物——即与特定疾病相关的语音特征#xff0c;用于诊断。

随着人工智能因此语音包含了有关身体各个方面的信息从认知状态和心理状态到呼吸条件。

近十年来研究者致力于发现和利用语音生物标志物——即与特定疾病相关的语音特征用于诊断。

随着人工智能AI的进步这些生物标志物的学习关联和临床预测变得更加可行。

自动语音评估利用语音生物标志物、AI和移动技术进行远程患者健康评估预期将为早期识别和远程监测带来许多好处。

端到端训练

模型直接从音频中做出临床预测但需要大量手动标注数据。

预训练模型微调

使用在大型语音语料库上预训练的深度学习模型作为特征提取器并用少量标注数据进行微调。

这种模型学习了一组特征即表示以捕获语音的属性并可用于各种语音识别任务。

语音表示捕获了人类感知理解并在语音中保持了一致的属性如说话者、语言、情感和年龄。

由于语音包含了有关几个重要器官状况的丰富信息随着这些模型的兴起已有几项工作探索并评估了它们在识别疾病方面的潜力。

然而深度学习模型缺乏可解释性这限制了它们在医疗领域的应用。

为了解决这个问题研究人员开发了工具来理解模型的工作原理这些工具通常分为两大类白盒方法和黑盒方法。

白盒方法这类方法通过分析数学关系来提供模型如何在特定情况下从输入推断输出的局部解释。

通常需要特定的模型架构和属性例如激活函数的存在。

在神经网络中有基于梯度的方法如Grad-CAM和Integrated

Gradient以及基于注意力的方法如注意力流和注意力展开。

黑盒方法这些方法系统地使用各种任务和数据探测模型以估计其在一般情况中的行为这被称为全局解释。

虽然黑盒方法与模型无关但也有一些方法如LIME和SHAP允许提供局部解释。

方法论

本研究使用Saarbrücken语音数据库该数据库包含来自1002名说话者的录音其中454名男性548名女性以及851名对照组423名男性428名女性。

说话者的年龄从6岁到94岁不等病理组以及9岁到84岁对照组。

每个录音会话包含/i/、/a/和/u/元音的中性、高、低、上升和下降音调的录音以及简短短语“Guten

Morgen,

Ihnen?”的录音。

音频以16位50kHz的采样率使用专业录音设备录制。

将参与者按性别和病理状态分组病理状态分为三类有机、无机和健康。

仅选择简短短语的录音并将所有样本下采样到16kHz供模型使用。

1.2

(AST)一种无卷积、纯基于注意力机制的音频分类模型。

它通过将音频转换为频谱图来处理音频数据并使用视觉变换器Vision

模型输入是t秒的音频波形将其填充到模型的最大尺寸T秒并转换为128维的log

Mel滤波器组fbank特征序列然后将其分割成16x16的块并使用线性投影层将其展平生成768维的嵌入序列。

每个嵌入都添加了可训练的位置嵌入大小为768以提供语谱图的空间结构并在序列的开头添加了类别标记[CLS]嵌入大小为768并将其输入到Transformer编码器中。

编码器在类别标记[CLS]处的输出被提取为语音表示。

使用的模型在AudioSet上进行预训练并在HuggingFace

Transformers中实现和提供。

训练模型进行二元分类病理有机和无机或健康受试者。

数据集按分层方式划分为训练集、开发集和测试集比例为80%、10%和10%。

本研究比较了两种模型配置

ast_freeze

AST模型设置为不可训练并在模型顶部添加一个线性层将嵌入投影到分类输出。

ast_finetuned

与ast_freeze的构建相同但AST模型设置为可训练并对整个模型进行微调。

1.3

该方法使用模型的注意力层生成相关图以可视化语谱图区域的相关性分数。

通过将相关图与语谱图拼接成一个图像并用色调表示相关性分数用亮度表示频谱功率从而可视化模型的注意力分布。

为了更好地理解语谱图区域本研究使用Montreal

Force

Aligner生成与音频对应的语音音素标注并将其添加到图像中。

根据两个模型的预测结果手动选择样本分为四种情况

Oast_freeze和ast_finetuned都预测正确。

Xast_freeze和ast_finetuned都预测错误。

Aast_finetuned预测错误ast_freeze预测正确。

Bast_finetuned预测正确ast_freeze预测错误。

2.1

(UAR)不考虑类别样本大小的情况下所有类别的平均召回率。

ROC曲线下面积

与基础AST模型相比ast_finetuned模型具有更好的性能表明微调对模型预测的改善作用。

2.2

ast_freeze时表示显示出性别之间的分离而不是病理状态病理性与健康换句话说语音表示包含更多关于说话者性别而不是潜在声音病理状态的信息。

另一方面当基础AST模型完全训练B,

ast_finetuned时显示出相反的趋势。

两个模型都无法清晰地分离有机和无机病理。

上图展示了两个女性语音样本的频谱图左和ast_freeze中与ast_finetuned右的相关性图顶部健康底部病理性这两个样本的预测结果被标记为B即ast_finetuned预测正确而ast_freeze预测错误。

从可用的可视化中我们可以看到最高相关性分数并不一定分配给最高强度区域如基频和谐波。

在两种模型中都出现的更常见模式是它们给音素“/ɔ/”和音段“/e/

/s/

/n/”更高的分数。

当模型微调后我们发现更多的集中度位置经常改变/移动然而没有得出明显一致的模式。

Spectrogram

通过分析相关图发现模型无法完全识别有机和无机语音障碍之间的差异并且模型对音素“/ɔ/”和片段“/e/

/s/

当模型进行微调时发现注意力范围往往会减少这表明模型更加关注特定的音素区域。

模型配置

MIT/ast-finetuned-audioset-10-10-0.4593类别数量

2冻结

MIT/ast-finetuned-audioset-10-10-0.4593类别数量

2冻结