念非结构化数据嵌入向量向量相似度搜索

Milvus?支持哪些索引和指标索引类型相似度指标(Similarity

metrics)

Milvus、支持的索引和指标、示例应用程序、架构和相关工具。

Milvus

年创建其目标只有一个存储、索引和管理由深度神经网络和其他机器学习

(ML)

作为专门为处理输入向量查询而设计的数据库它能够对万亿规模的向量进行索引。

与现有的关系数据库主要处理遵循预定义模式的结构化数据不同Milvus

随着互联网的发展和发展非结构化数据变得越来越普遍包括电子邮件、论文、物联网传感器数据、Facebook

照片、蛋白质结构等等。

为了让计算机理解和处理非结构化数据使用嵌入技术将这些数据转换为向量。

Milvus

能够通过计算两个向量的相似距离来分析它们之间的相关性。

如果两个嵌入向量非常相似则意味着原始数据源也相似。

关键概念

如果您不熟悉矢量数据库和相似性搜索领域请阅读以下关键概念的解释以获得更好的理解。

Milvus

非结构化数据包括图像、视频、音频和自然语言是不遵循预定义模型或组织方式的信息。

这种数据类型约占全球数据的

(AI)

嵌入向量是非结构化数据的特征抽象例如电子邮件、物联网传感器数据、Instagram

照片、蛋白质结构等等。

从数学上来说嵌入向量是浮点数或二进制数的数组。

现代嵌入技术用于将非结构化数据转换为嵌入向量。

向量相似度搜索

向量相似性搜索是将向量与数据库进行比较以查找与查询向量最相似的向量的过程。

近似最近邻ANN搜索算法用于加速搜索过程。

如果两个嵌入向量非常相似则意味着原始数据源也相似。

Milvus?

在海量数据集上进行矢量搜索时具有高性能。

一个开发者优先的社区提供多语言支持和工具链。

即使发生中断云的可扩展性和高可靠性也是如此。

通过将标量过滤与向量相似性搜索配对来实现混合搜索。

支持哪些索引和指标

索引是数据的组织单位。

您必须先声明索引类型和相似性度量然后才能搜索或查询插入的实体。

如果不指定索引类型Milvus

索引类型

最适合在小型、百万级数据集上寻求完全准确且精确的搜索结果的场景。

IVF_FLATIVF_FLAT是一种基于量化的索引最适合在精度和查询速度之间寻求理想平衡的场景。

还有一个

GPU

内存消耗的场景因为这些资源非常有限。

IVF_PQIVF_PQ是一种基于量化的索引最适合追求高查询速度甚至不惜牺牲准确性的场景。

还有一个

GPU

GPU_IVF_PQ。

HNSWHNSW是基于图的索引最适合对搜索效率要求较高的场景。

相似度指标(Similarity

中相似度度量用于衡量向量之间的相似度。

选择良好的距离度量有助于显着提高分类和聚类性能。

根据输入数据形式选择特定的相似性度量以获得最佳性能。

欧氏距离(Euclidean

distance)L2该度量通常用于计算机视觉CV领域。

内积(Inner

Hamming该指标一般用于自然语言处理NLP领域。

Jaccard这个指标一般用在分子相似性搜索领域。

应用示例

图像相似性搜索图像可搜索并立即从海量数据库中返回最相似的图像。

视频相似度搜索通过将关键帧转换为向量然后将结果输入

Milvus可以近乎实时地搜索和推荐数十亿视频。

音频相似度搜索快速查询语音、音乐、音效等海量音频数据表面相似声音。

推荐系统根据用户行为和需求推荐信息或产品。

问答系统交互式数字

聊天机器人自动回答用户问题。

DNA序列分类通过比较相似的DNA序列在毫秒内准确梳理出基因的分类。

文本搜索引擎通过将关键字与文本数据库进行比较帮助用户找到他们正在寻找的信息。

Milvus

作为云原生向量数据库在设计上将存储和计算分离。

为了增强弹性和灵活性Milvus

该系统分为四个级别

访问层访问层由一组无状态代理组成作为系统的前端层和用户的端点。

协调器服务协调器服务将任务分配给工作节点充当系统的大脑。

工作节点工作节点充当手臂和腿是哑执行器遵循协调器服务的指令并执行用户触发的

DML/DDL

命令。

存储存储是系统的骨骼负责数据的持久化。

它包括元存储、日志代理和对象存储。

开发者工具

之上的客户端库可用于通过应用程序代码以编程方式插入、删除和查询数据

PyMilvus

估算工具可帮助您估算指定数量的各种索引类型向量所需的原始文件大小、内存大小和稳定磁盘大小。