1.初试langchain2.prompt3.OutputParser/输出解析4.model/vllm模型部署和langchain调用5.DocumentLoader/多种文档加载器6.TextSplitter/文档切分7.Embedding/文本向量化8.VectorStore/向量数据库存储和检索9.Retriever/检索器10.Reranker/文档重排序11.RAG管道/多轮对话RAG12.Agent/工具定义/Agent调用工具/Agentic

RAG

RAG检索增强生成流程中的预处理阶段涉及四个步骤用于加载、拆分、嵌入和存储文档到向量数据库Vector

预处理

Indexing。

一个收集数据并对其进行索引的管道。

这个过程通常是在离线进行的。

RAG

5检索器定义一个检索器根据输入查询从数据库中获取结果。

检索器使用搜索算法通常分为密集型和稀疏型

6提示生成为执行

创建一个提示。

提示中的context包含从文档中检索到的内容。

通过提示工程可以指定回答的格式。

步骤

GPT-3.5、GPT-4

。

实际的RAG链实时处理用户查询从索引中检索相关数据并将其传递给模型。

RAG

每个模块的内容可以根据具体场景进行调整从而允许逐步改进结构以适应文档。

from

langchain_community.document_loaders

import

langchain_community.vectorstores

import

TextLoader(data/appendix-keywords.txt,

encodingutf-8)

RecursiveCharacterTextSplitter(chunk_size500,

chunk_overlap50)

text_splitter.split_documents(docs)

print(fNumber

OpenAIEmbeddings(modelbge-m3,base_urlhttp://localhost:9997/v1,api_keycannot

empty,#

FAISS.from_documents(documentssplit_documents,

test

vectorstore.similarity_search(URBAN

MOBILITY,

5检索器定义一个检索器根据输入查询从数据库中获取结果。

检索器使用搜索算法通常分为密集型和稀疏型

Step

vectorstore.as_retriever(search_typesimilarity,

search_kwargs{k:

创建一个提示。

提示中的context包含从文档中检索到的内容。

通过提示工程可以指定回答的格式。

Step

PromptTemplate.from_template(You

are

promptPromptTemplate(input_variables[context,

question],

\n{context}\n\n#Question:\n{question}\n\n#Answer:)步骤

GPT-3.5、GPT-4

ChatOpenAI(base_urlhttp://localhost:5551/v1,api_keyEMPTY,model_nameQwen2.5-7B-Instruct,temperature0.2,

)步骤

langchain_community.document_loaders

import

langchain_community.vectorstores

import

TextLoader(data/appendix-keywords.txt,

encodingutf-8)

RecursiveCharacterTextSplitter(chunk_size500,

chunk_overlap50)

text_splitter.split_documents(docs)

print(fNumber

OpenAIEmbeddings(modelbge-m3,base_urlhttp://localhost:9997/v1,api_keycannot

empty,#

FAISS.from_documents(documentssplit_documents,

Step

vectorstore.as_retriever(search_typesimilarity,

search_kwargs{k:

PromptTemplate.from_template(You

are

ChatOpenAI(base_urlhttp://localhost:5551/v1,api_keyEMPTY,model_nameQwen2.5-7B-Instruct,temperature0.2,

Step

模型。

通过将提示语、语言模型和输出解析器连接起来构建链条。

使用

StrOutputParser

langchain_community.chat_message_histories

import

langchain_core.runnables.history

import

ChatPromptTemplate.from_messages([(system,You

are

possible!MessagesPlaceholder(variable_namechat_history),(human,

Use

ChatOpenAI(base_urlhttp://localhost:5551/v1,api_keyEMPTY,model_nameQwen2.5-7B-Instruct,temperature0.2,

Creating

get_session_history(session_ids):print(f[Conversation

Session

RunnableWithMessageHistory(chain,get_session_history,

Function

historyinput_messages_keyquestion,

Key

questionhistory_messages_keychat_history,

Key

today?chain_with_history.invoke(#

Input

Jack.print(store[abc123])Human:

name

langchain_community.document_loaders

import

langchain_community.vectorstores

import

RecursiveCharacterTextSplitter(chunk_size500,

chunk_overlap50)

text_splitter.split_documents(docs)

print(fNumber

OpenAIEmbeddings(modelbge-m3,base_urlhttp://localhost:9997/v1,api_keycannot

empty,#

FAISS.from_documents(documentssplit_documents,

Step

vectorstore.as_retriever(search_typesimilarity,

search_kwargs{k:

PromptTemplate.from_template(You

are

ChatOpenAI(base_urlhttp://localhost:5551/v1,api_keyEMPTY,model_nameQwen2.5-7B-Instruct,temperature0.2,

Step

itemgetter(question),chat_history:

prompt|

get_session_history(session_ids):print(f[Conversation

Session

RunnableWithMessageHistory(chain,get_session_history,

Function

historyinput_messages_keyquestion,

Key

questionhistory_messages_keychat_history,

Key

document.rag_with_history.invoke(#

Input