。

在PyTorch机器学习基础上#xff0c;不仅可以借助性能优越的预训练模型和管道实现声纹分割聚类#xff0c;还…使用pyannote-audio实现声纹分割聚类

GitHub地址

https://github.com/MasonYyp/audio1

简单介绍

pyannote.audio是用Python编写的用于声纹分割聚类的开源工具包。

在PyTorch机器学习基础上不仅可以借助性能优越的预训练模型和管道实现声纹分割聚类还可以进一步微调模型。

声纹嵌入从一段声音中提出声纹转换为向量嵌入声纹识别从一段声音中识别不同的人多个人声纹活动检测检测一段声音检测不同时间点的活动声纹重叠检测检测一段声音中重叠交叉的部分声纹分割将一段声音进行分割

pyannote.audio中主要有”segmentation“、”embedding“和”speaker-diarization“三个模型”segmentation“的主要作用是分割、”embedding“主要作用是嵌入跟wespeaker-voxceleb-resnet34-LM作用相同”speaker-diarization“的作用是使用管道对上面两个模型整合。

Huggingface地址

https://hf-mirror.com/pyannote#

Github地址

https://github.com/pyannote/pyannote-audio⚠️

2.1

https://pypi.tuna.tsinghua.edu.cn/simple使用模型需要现在huggingface上下载模型模型如下

pyannote.audio的部分模型是收到保护的即需要在huggingface登录后填写部分信息同意相关协议才能下载否则无法下载。

嵌入模型

pyannote/wespeaker-voxceleb-resnet34-LM

https://hf-mirror.com/pyannote/wespeaker-voxceleb-resnet34-LM#

分割模型

https://hf-mirror.com/pyannote/segmentation-3.0使用huggingface-cli下载相关模型的命令

注意需要先创建Python环境#

Annotation中的主要方法假设实例为diarization

labels

list(diarization.itertracks())#

获取声音中指定说话人时间段列表”SPEAKER_00“为第一个说话人的标识

durations

diarization.label_timeline(SPEAKER_00)2.2

实现声纹分割

注意pyannote/speaker-diarization-3.1实现声纹识别特别慢不知道是不是我的方法不对30分钟的音频处理了20多分钟。

⚠️

使用单个模型很快。

pyannote/speaker-diarization版本2较快推荐使用pyannote/speaker-diarization版本2。

注意此处加载模型和通常加载模型的思路不同常规加载模型直接到名称即可此处需要加载到具体的模型名称。

1使用python方法

Model.from_pretrained(E:/model/pyannote/pyannote-audio-3.1.1/wespeaker-voxceleb-resnet34-LM/pytorch_model.bin)

分割语音模型

Model.from_pretrained(E:/model/pyannote/pyannote-audio-3.1.1/segmentation-3.0/pytorch_model.bin)#

语音分离模型

SpeakerDiarization(segmentationsegmentation,

embeddingembedding)#

0.7045654963945799},segmentation:{min_duration_off:

0.58}

speaker_diarization.instantiate(HYPER_PARAMETERS)start_time

time.time()#

speaker_diarization(E:/语音识别/数据/0-test-en.wav)#

获取说话人列表

print(list(diarization.itertracks()))

print(diarization.label_timeline(SPEAKER_00))ent_time

time.time()

Pipeline.from_pretrained(E:/model/pyannote/speaker-diarization-3.1/config.yaml)#

分离语音

speaker_diarization(E:/语音识别/数据/0-test-en.wav)print(type(diarization))

print(diarization.labels())config.yaml

根据文件可以看出声纹分割是将embedding和segmentation进行了组合。

version:

pyannote.audio.pipelines.SpeakerDiarizationparams:clustering:

embedding:

pyannote/wespeaker-voxceleb-resnet34-LMembedding:

E:/model/pyannote/speaker-diarization-3.1/wespeaker-voxceleb-resnet34-LM/pytorch_model.binembedding_batch_size:

true#

pyannote/segmentation-3.0segmentation:

E:/model/pyannote/speaker-diarization-3.1/segmentation-3.0/pytorch_model.binsegmentation_batch_size:

12threshold:

0.7045654963945799segmentation:min_duration_off:

0.0模型目录

模型中的其他文件可以删除只保留”pytorch_model.bin“即可。

执行结果

Model.from_pretrained(E:/model/pyannote/speaker-diarization-3.1/wespeaker-voxceleb-resnet34-LM/pytorch_model.bin)#

抽取声纹

inference(E:/语音识别/数据/0-test-en.wav)

embedding2

inference(E:/语音识别/数据/0-test-en.wav)#

distance

Model.from_pretrained(E:/model/pyannote/speaker-diarization-3.1/segmentation-3.0/pytorch_model.bin)#

初始化参数

VoiceActivityDetection(segmentationmodel)

HYPER_PARAMETERS

activity_detection.instantiate(HYPER_PARAMETERS)#

获取活动特征

activity_detection(E:/语音识别/数据/0-test-en.wav)#

获取活动列表

https://pypi.tuna.tsinghua.edu.cn/simple#

嵌入模型

https://hf-mirror.com/pyannote/embedding#

分割模型

https://hf-mirror.com/pyannote/segmentation3.2

实现声纹分割

Model.from_pretrained(E:/model/pyannote/pyannote-audio-2.1.1/embedding/pytorch_model.bin)#

分割语音模型

Model.from_pretrained(E:/model/pyannote/pyannote-audio-2.1.1/segmentation/pytorch_model.bin)#

语音分离模型

SpeakerDiarization(segmentationsegmentation,embeddingembedding,clusteringAgglomerativeClustering

)HYPER_PARAMETERS

0.7153814381597874},segmentation:{min_duration_off:

0.4442333667381752}

}speaker_diarization.instantiate(HYPER_PARAMETERS)start_time

time.time()

pipeline(E:/语音识别/数据/0-test-en.wav)

diarization:

speaker_diarization(E:/语音识别/数据/0-test-en.wav)#

获取说话人列表

print(diarization.labels())ent_time

time.time()

3.1.1版本的功能2.1.1都能实现参考3.1.1版本即可。