。

这使得该领域的进展难以跟踪因为不断有各种模型被提出而没有进行适当的评估。

Text

MTEB。

MTEB涵盖了8个嵌入任务共58个数据集和112种语言是目前迄今为止最全面的文本嵌入基准。

MTEB源码https://github.com/embeddings-benchmark/mteb

MTEB论文https://arxiv.org/abs/2210.07316

MTEB排行榜https://huggingface.co/spaces/mteb/leaderboard

评估数据

Face官网访问无法直接所以这篇文章提供了一个比较友好的代理方案来下载数据集。

由于mteb在1.12.4的版本中使用了ISO编码导致task_langs参数不太好使了这里暂时使用1.1.1版本。

pip

subprocessos.environ[HF_ENDPOINT]

data_path

/root/data3/liyanpeng/hf_datadef

MTEB(task_langs[zh,

dataset_list:dataset_list.append(task.description.get(name))desc

name:

{}.format(task.description.get(name),

task.description.get(hf_hub_name),task.description.get(type),

task.description.get(category),)print(desc)print(len(dataset_list))def

MTEB(task_langs[zh,

https://huggingface.co/datasets/task_name

task.description.get(hf_hub_name)print(task_name)cmd

[huggingface-cli,

--resume-download,--local-dir-use-symlinks,

False,

e:err_list.append(task_name)print({}

failed:

\n.join(err_list))else:print(download

success.)if

__main__:download_dataset()show_dataset()一共是31个数据集