LangChain

#xff0c;这使得查询此类设置变得容易。

很多复杂性在于如何为每个文档创建多个向量。

本笔记本涵盖了创建这些向量和使用

MultiVectorRetriever

的一些常…每个文档存储多个向量通常是有益的。

在许多用例中这是有益的。

LangChain

这使得查询此类设置变得容易。

很多复杂性在于如何为每个文档创建多个向量。

本笔记本涵盖了创建这些向量和使用

MultiVectorRetriever

ParentDocumentRetriever。

摘要为每个文档创建摘要将其与文档一起嵌入或代替文档假设性问题创建每个文档都适合回答的假设性问题将这些问题与文档一起嵌入或代替文档。

手动。

这很棒因为您可以显式添加导致文档恢复的问题或查询从而为您提供更多控制权。

from

langchain.retrievers.multi_vector

import

langchain_community.document_loaders

import

langchain_community.vectorstores

import

RecursiveCharacterTextSplitter#

导入文件

[TextLoader(./txt/faq-4359.txt,encodingutf-8),TextLoader(./txt/faq-7923.txt,encodingutf-8),

docs

loaders:docs.extend(loader.load())#

连接模型

langchain_community.embeddings.huggingface

import

D:\\ai\\download\\bge-large-zh-v1.5

embeddings

HuggingFaceEmbeddings(model_nameembeddings_path)#

vectorstore

Chroma(collection_namefull_documents,

store

MultiVectorRetriever(vectorstorevectorstore,byte_storestore,id_keyid_key,

)import

CharacterTextSplitter(separator\n\n,chunk_size100,chunk_overlap10,length_functionlen,is_separator_regexFalse,

)sub_docs

child_text_splitter.split_documents([doc])for

_doc

_sub_docs:_doc.metadata[id_key]

_idsub_docs.extend(_sub_docs)#使用一个名为retriever的对象来向一个向量存储vectorstore中添加文档

#并且使用一个文档存储docstore来设置文档ID与文档内容之间的映射。

retriever.vectorstore.add_documents(sub_docs)

retriever.docstore.mset(list(zip(doc_ids,

docs)))

retriever.vectorstore.similarity_search(众测商品多久发货呢)[0]#输出结果Document(page_content4、众测商品买下后多久发货\n\n

您好请以商品页显示为准。

\n\n5、提交活动订单后多久内支付\n\n

metadata{doc_id:

8f80d02b-6a27-46ae-ad6a-23cc6e1ec5c8,

source:

通常摘要可能能够更准确地提炼出某个块的内容从而实现更好的检索。

在这里我们展示如何创建摘要然后嵌入它们。

import

ChatOpenAI(openai_api_keyopenai_api_key,openai_api_baseopenai_api_base,temperature0.3,

创建链

ChatPromptTemplate.from_template(总结下面的文档:\n\n{doc})|

model|

loaders:docs.extend(loader.load())#

summaries

Chroma(collection_namesummaries,

The

MultiVectorRetriever(vectorstorevectorstore,byte_storestore,id_keyid_key,

doc_ids

retriever.vectorstore.add_documents(summary_docs)

retriever.docstore.mset(list(zip(doc_ids,

docs)))sub_docs

retriever.vectorstore.similarity_search(众测活动是否有参与限制)

假设性查询

还可用于生成针对特定文档可能提出的假设问题列表。

然后可以嵌入这些问题

from

···根据上面的文档生成3个相关问题和回答。

响应以json列表的结构返回。

返回的结构参考如下

···

ChatPromptTemplate.from_template(promptStr)

生成链

问{}\n答{}.format(obj[question],obj[answer])documents.append(Document(page_contentcontent))#

The

Chroma(collection_nameQuestion,

embedding_functionembeddings,persist_directory./vector_store)

The

MultiVectorRetriever(vectorstorevectorstore,byte_storestore,id_keyid_key,

doc_ids

docs]retriever.vectorstore.add_documents(documents)retriever.vectorstore.similarity_search(众测商品多久发货呢)[0]#

输出结果

#Document(page_content问众测商品买下后多久发货\n答您好请以商品页显示为准。

)