all-MiniLM-L6-v2实战案例：Python调用Ollama

Embedding

引言：为什么需要文本聚类？

在日常工作中，我们经常遇到这样的场景：面对大量文本数据，如何快速找出相似的内容？比如客户反馈分类、新闻话题分组、文档整理等。

传统的关键词匹配方法效果有限，无法理解语义层面的相似性。

all-MiniLM-L6-v2模型正是为解决这个问题而生。

它是一个轻量级的句子嵌入模型，能够将文本转换为高维向量，语义相似的文本在向量空间中距离更近。

通过Ollama部署这个模型，我们可以轻松获得专业的embedding服务，然后用Python实现各种文本分析任务。

本文将带你从零开始，完成三个目标：

1. 使用Ollama部署all-MiniLM-L6-v2的embedding服务
2. 学习用Python调用embedding

   API获取文本向量

3. 实现一个完整的文本聚类案例，看到实际效果

2.

安装Ollama

Ollama是一个本地化的大模型部署工具，让我们能够轻松运行各种开源模型。

安装过程非常简单：

#
Linux/macOS
下载exe文件安装

安装完成后，在终端输入ollama

--version，如果显示版本号说明安装成功。

2.2

部署all-MiniLM-L6-v2模型

all-MiniLM-L6-v2是一个特别适合本地部署的轻量级模型，只有22.7MB大小，但效果相当不错：

#
拉取并运行模型
all-minilm

模型启动后，默认会在11434端口提供API服务。

我们可以用简单的方法测试服务是否正常：

import
requests
'http://localhost:11434/api/embeddings',
'prompt':
response.status_code)

如果返回200状态码，说明embedding服务已经正常启动了。

3.

文本聚类实战教程

3.1

准备示例数据

让我们用一些新闻标题作为示例数据，这些标题涵盖科技、体育、娱乐等不同领域：

texts
=
"苹果发布新款iPhone手机，搭载A16芯片",
"华为推出Mate60系列，支持卫星通信",
"Netflix推出新剧集《星期三》获得好评",
"特斯拉发布新款Model
]

这些文本看似杂乱无章，但通过embedding和聚类，我们能够发现它们内在的类别关系。

3.2

获取文本向量表示

接下来我们编写一个函数来获取所有文本的向量表示：

import
requests
model_name='all-minilm',
batch_size=5):
'http://localhost:11434/api/embeddings',
model_name,
response.json()['embedding']
batch_embeddings.append(embedding)
else:
embeddings.extend(batch_embeddings)
return
{len(embeddings[0])}")

每个文本都被转换为一个384维的向量，这些向量捕捉了文本的语义信息。

3.3

实现文本聚类

有了向量表示，我们就可以使用聚类算法来发现文本之间的相似性：

from
sklearn.cluster
使用K-Means进行聚类，假设我们想要3个类别
kmeans
kmeans.fit_predict(embedding_matrix)
pca
pca.fit_transform(embedding_matrix)
6))
分析聚类结果
让我们看看每个聚类中都包含了哪些文本：
#
for
{text}")
运行后会看到类似这样的结果：
===
===
漫威新电影《黑豹2》正式上映
可以看到，模型成功地将文本分为了三个语义类别：科技产品、体育赛事、影视娱乐。
4.
处理大量文本的策略
当处理大量文本时，需要考虑一些优化策略：
def
optimized_embedding_pipeline(texts,
model_name='all-minilm'):
"""
get_embeddings(processed_texts,
model_name,
find_optimal_clusters(embeddings,
"""
KMeans(n_clusters=n_clusters,
random_state=42)
silhouette_scores.append(score)
optimal_clusters
silhouette_scores.index(max(silhouette_scores))
+
find_optimal_clusters(embedding_matrix)
print(f"建议聚类数量:
{optimal_k}")
4.2
实际应用案例扩展
这个技术可以应用到很多实际场景中：
class
TextCluster:
model_name='all-minilm'):
self.model_name
cluster_customer_feedback(self,
feedback_list):
find_optimal_clusters(np.array(embeddings))
进行聚类
KMeans(n_clusters=optimal_k,
random_state=42)
results[f'cluster_{i}']
=
"产品很好用，但是价格有点贵",
"希望增加更多功能",
cluster_tool.cluster_customer_feedback(feedback_examples)
print(results)
5.
总结
通过本教程，我们完成了从模型部署到实际应用的完整流程。
all-MiniLM-L6-v2虽然体积小巧，但在文本语义理解方面表现相当出色，结合Ollama的便捷部署，为本地化文本处理提供了很好的解决方案。
关键收获：
轻量高效：all-MiniLM-L6-v2只有22.7MB，推理速度快，适合资源受限环境
部署简单：Ollama让模型部署变得极其简单，几条命令就能完成
效果实用：文本聚类效果明显，能够准确识别语义相似的文本
应用广泛：可用于客户反馈分析、新闻分类、文档整理等多种场景
下一步建议：
尝试处理更大规模的数据集，测试模型的稳定性
探索其他聚类算法（如DBSCAN、层次聚类）的效果差异
将聚类结果用于推荐系统或搜索引擎的优化
尝试fine-tuning模型以适应特定领域的文本
这种方法不仅适用于文本聚类，还可以扩展到文本检索、相似度计算、异常检测等多个自然语言处理任务中。
/>
获取更多AI镜像
想探索更多AI镜像和应用场景？访问
CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。