。

无论是图像检索、内容推荐还是视觉搜索#xff0c;图像相似性方法在现代计算机视觉的应用中都发挥着关键的作用。

幸运的是#xff0c;Python提供了大量的工具和库测量和量化图像之间的相似性已经成为一项关键的任务。

无论是图像检索、内容推荐还是视觉搜索图像相似性方法在现代计算机视觉的应用中都发挥着关键的作用。

幸运的是Python提供了大量的工具和库使开发人员和研究人员都可以快速探索和实现这些功能。

在本文中我们将深入研究各种图像相似性技术并演示如何使用Python来实现它们。

图像相似性概念

图像相似性可以被认为是两幅图像在视觉内容方面的相似程度的数字表示。

图像可以在几个维度上来进行相似性的计算例如颜色、形状、纹理等。

各种数学和计算方法被用来量化这些相似性使我们能够有效地进行图像分类。

直方图一般用于捕捉图像中像素值的分布。

通过比较两幅图像的直方图可以测量它们的相似性。

这里我们主要使用Python的OpenCV库来实现计算和比较直方图的功能。

样例图像如下

是一种广泛使用的度量标准用于评估两幅图像之间的结构相似性。

它考虑了亮度、对比度和结构给出了-1不同和1相同之间的分数。

Python中的scikit-image提供了SSIM的相关实现。

在这里我们主要演示使用SSIM和scikit-image库的简单示例这里采用的样例图像同上

import

metrics.structural_similarity(image1_gray,

image2_gray,

0.38与直方图方法相比SSIM方法的主要缺点是图像必须具有相同的维度。

甚至相似性得分也很低。

我们可以从图像中进行背景减法去除以提高相似性得分。

这类方法从图像中提取显著特征例如边缘、角或关键点。

像尺度不变特征变换SIFT和加SURF特征这样的技术可以识别图像中的不同的关键点进而可以实现两幅图像之间的对比。

opencv-python库可以用于提取相应图像的SIFT和SURF特征。

深度学习的出现已经彻底改变了图像相似性任务。

使用预训练的卷积神经网络CNNs如ResNet、VGG和Inception我们可以方便地从图像中提取深层特征。

contrastive

是一种多模式零样本图像分类器它在没有微调的情况下在广泛的领域中达到了出色的效果。

我们可以使用开源的训练代码在自己图像和文本数据集上对上述模型进行微调。

在本文中我们将使用基于CLIP的预训练模型和torch、open_CLIP和sentence_transformers库来演示一个简单的示例这里采用的样例图像同上

!pip

githttps://github.com/openai/CLIP.git

!pip

open_clip.create_model_and_transforms(ViT-B-16-plus-240,

model.to(device)

Image.fromarray(img).convert(RGB)img1

preprocess(img1).unsqueeze(0).to(device)img1

img1

imageEncoder(data_img)cos_scores

img2)score

round(float(cos_scores[0][0])*100,

2)return

76.77上述图像之间相似性的度量主要的依据是通过计算两幅图像中特征向量的余弦相似性或欧几里得距离来实现的。

图像相似技术的主要应用包括电子商务产品匹配、图像检索、对象识别和人脸识别。

例如在图像检索中使用图像相似性来查找与查询图像相似的图像。

图像相似性也可以可以用于对象识别以将给定对象与已知数据库相匹配。

此外图像相似性算法还可以用于通过将人脸与数据库进行比较来识别不同的对象。

在当今视觉世界中测量图像相似性的能力是众多应用程序的重要组成部分。

本博客向大家介绍了各种图像相似性方法从简单的基于直方图的方法到复杂的基于深度学习技术的实现方法。

更进一步大家还可以探索Siamese