overlap指两个块之间共享的字符数量用于保持上下文的连贯性避免分割丢失上下文信息如下图所示

docs[0]

初相识\n⼀、认识matplotlib\nMatplotlib

Python

绘图库能够以多种硬拷⻉格式和跨平台的交互式环境⽣成出版物质量的图形⽤来绘制各种静态动态\n交互式的图表。

\nMatplotlib

Python

应⽤程序服务器和各种图形⽤户界⾯⼯具包等。

\nMatplotlib

Python

有更好的理解让我们从⼀些最基本的概念开始认识它再逐渐过渡到⼀些⾼级技巧中。

\n⼆、⼀个最简单的绘图例⼦\nMatplotlib

figure

的绘图代码默认打印出最后⼀个对象。

如果不想显示这句话有以下三种⽅法在本章节的代码示例\n中你能找到这三种⽅法的使⽤。

\n\x00.

在代码块最后加⼀个分号

会帮你⾃动创建⼀个。

所以上⾯的例⼦也可以简化为以下这⼀⾏代码。

\nline

plt.plot([1,

的世界中我们将通过各种命令⽅法来操纵图像中的每⼀个部分\n从⽽达到数据可视化的最终效果⼀副完整的图像实际上是各类⼦元素的集合。

\nFigure顶层级⽤来容纳所有绘图元素

metadata{source:

docs/matplotlib/第一回Matplotlib初相识.pdf,

page:

初相识\n⼀、认识matplotlib\nMatplotlib

Python

绘图库能够以多种硬拷⻉格式和跨平台的交互式环境⽣成出版物质量的图形⽤来绘制各种静态动态\n交互式的图表。

\nMatplotlib

Python

应⽤程序服务器和各种图形⽤户界⾯⼯具包等。

\nMatplotlib

Python

有更好的理解让我们从⼀些最基本的概念开始认识它再逐渐过渡到⼀些⾼级技巧中。

\n⼆、⼀个最简单的绘图例⼦\nMatplotlib

figure

的绘图代码默认打印出最后⼀个对象。

如果不想显示这句话有以下三种⽅法在本章节的代码示例\n中你能找到这三种⽅法的使⽤。

\n\x00.

在代码块最后加⼀个分号

会帮你⾃动创建⼀个。

所以上⾯的例⼦也可以简化为以下这⼀⾏代码。

\nline

plt.plot([1,

的世界中我们将通过各种命令⽅法来操纵图像中的每⼀个部分\n从⽽达到数据可视化的最终效果⼀副完整的图像实际上是各类⼦元素的集合。

\nFigure顶层级⽤来容纳所有绘图元素

metadata{source:

docs/matplotlib/第一回Matplotlib初相识.pdf,

page:

Relevance基本思想是同时考量查询与文档的相关度以及文档之间的相似度。

它把搜索结果中相似度很高的文档做了过滤所以它保留了结果的相关性又同时兼顾了结果的多样性。

smalldb_chinese.max_marginal_relevance_search(question_chinese,k2,

fetch_k3)

当询问关于文档中某一讲的问题但得到的结果中也包括了来自其他讲的结果如下所示

question_chinese

vectordb_chinese.similarity_search(question_chinese,k5)

for

docs_chinese:print(doc_chinese.metadata)#

检索结果

docs/matplotlib/第一回Matplotlib初相识.pdf,

page:

docs/matplotlib/第一回Matplotlib初相识.pdf,

page:

docs/matplotlib/第二回艺术画笔见乾坤.pdf,

page:

docs/matplotlib/第二回艺术画笔见乾坤.pdf,

page:

docs/matplotlib/第一回Matplotlib初相识.pdf,

page:

vectordb_chinese.similarity_search(question_chinese,k3,filter{source:docs/matplotlib/第二回艺术画笔见乾坤.pdf}

for

docs_chinese:print(d.metadata)#检索结果

{source:

docs/matplotlib/第二回艺术画笔见乾坤.pdf,

page:

docs/matplotlib/第二回艺术画笔见乾坤.pdf,

page:

docs/matplotlib/第二回艺术画笔见乾坤.pdf,

page:

LangChain提供了SelfQueryRetriever模块它可以通过语言模型从问题语句中分析出:

term)

SelfQueryRetriever.from_llm(llm,

语言模型用于将用户的自然语言查询转换为结构化检索指令如过滤条件、关键词等vectordb_chinese,

Chroma、FAISS、Milvus

等document_content_description_chinese,

字符串描述文档的主要内容类型例如“这是关于中国古代文学的文档”metadata_field_info_chinese,

元信息字段描述列表定义哪些元数据字段可以被过滤并提供字段的说明。

例如

typestring),

retriever_chinese.get_relevant_documents(question_chinese)

for

docs_chinese:print(d.metadata)#检索结果

{source:

docs/matplotlib/第二回艺术画笔见乾坤.pdf,

page:

docs/matplotlib/第二回艺术画笔见乾坤.pdf,

page:

docs/matplotlib/第二回艺术画笔见乾坤.pdf,

page:

docs/matplotlib/第二回艺术画笔见乾坤.pdf,

page:

在使用向量检索获取相关文档时直接返回整个文档片段可能带来资源浪费因为实际相关的只是文档的一小部分。

为改进这一点LangChain提供了一种“压缩”检索机制。

其工作原理是先使用标准向量检索获得候选文档然后基于查询语句的语义使用语言模型压缩这些文档,只保留与问题相关的部分。

例如对“蘑菇的营养价值”这个查询检索可能返回整篇有关蘑菇的长文档。

经压缩后只提取文档中与“营养价值”相关的句子。

2.解决办法

langchain.retrievers.document_compressors

import

pretty_print_docs(docs):print(f\n{-

{i1}:\n\n

LLMChainExtractor.from_llm(llm)

压缩器compression_retriever_chinese

ContextualCompressionRetriever(base_compressorcompressor,base_retrievervectordb_chinese.as_retriever()

compression_retriever_chinese.get_relevant_documents(question_chinese)

pretty_print_docs(compressed_docs_chinese)#输出结果

Document

绘图库能够以多种硬拷⻉格式和跨平台的交互式环境⽣成出版物质量的图形⽤来绘制各种静态动态交互式的图表。

----------------------------------------------------------------------------------------------------

Document

绘图库能够以多种硬拷⻉格式和跨平台的交互式环境⽣成出版物质量的图形⽤来绘制各种静态动态交互式的图表。