RAG的文章也看不少了#xff0c;今天给大家带来一个llamaindex的实战。

分为两个部分#xff0c;调用ChatGLM的API来用l…原文链接【RAG探索第3讲】LlamaIndex的API调用与本地部署实战

RAG的文章也看不少了今天给大家带来一个llamaindex的实战。

分为两个部分调用ChatGLM的API来用llamaindex和本地部署qwen1.5使用llamaindex。

API实现RAG检索

1提供数据连接器来获取您现有的数据源和数据格式API、PDF、文档、SQL

LLM

LlamaIndex官网https://github.com/run-llama/llama_index

点击查看API

可在上端开发文档中的接口指南了解该API的使用这里采用的是langchain框架调用API接口

2.实践

本次运行需要通过HuggingFace连接嵌入模型推荐在本地部署。

from

llama_index.embeddings.huggingface

import

jwt.encode(payload,secret,algorithmHS256,headers{alg:

HS256,

model_name):super().__init__(model_namemodel_name,

openai_api_keygenerate_token(zhipuai_api_key,

10),openai_api_basehttps://open.bigmodel.cn/api/paas/v4)def

invoke(self,

[HumanMessage(contentquestion),]return

documents

SimpleDirectoryReader(data).load_data()

baai_embedding

HuggingFaceEmbedding(model_nameBAAI/bge-small-en-v1.5)#

index

GPTVectorStoreIndex.from_documents(documents,

embed_modelbaai_embedding)chatglm

query_engine

index.as_query_engine(llmchatglm)

response

print(response)2在test的同等目录下创建一个data文件夹用于存放加载的数据作者这里在data文件夹中放入的是.txt文件用于导入。

数据信息

langchain_core.language_models.chat_models

经查询是langchain-openai包损坏本人出现Bug是包的版本是0.1.13

解决办法:

参考链接https://github.com/langchain-ai/langchain/issues/22333

ModuleNotFoundError:

llama_index.llms.fireworks解决办法安装该包pip

install

但是呢肯定会有很多人想问如果我不想用API或者由于某些原因没办法获得足够的API该怎么办呢下面提供一种不需要使用官方API直接部署就可以使用的方法并以qwen1.5为例子进行展示。

LlamaIndex官网https://github.com/run-llama/llama_index

LlamaIndex官网提供了调用OpenAI和Llama的API构建向量存储索引。

实践

1依赖包

llama-index-embeddings-huggingface

pip

https://www.modelscope.cn/AI-ModelScope/bge-small-zh-v1.5.gitQwen1.5:

git

https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git3创建data文件夹并在文件夹内放入相应的数据。

本文采取txt格式信息来自百度百科。

import

llama_index.embeddings.huggingface

import

os.environ[KMP_DUPLICATE_LIB_OK]

True#

/home/data/aaa/llamaindex/Qwen1.5-7B-Chatselected_model

You

AutoTokenizer.from_pretrained(selected_model)

model

AutoModelForCausalLM.from_pretrained(selected_model,

device_mapauto)llm

HuggingFaceLLM(context_window4096,max_new_tokens128,

Fur***r

generatedgenerate_kwargs{temperature:

Adjusted

responses},query_wrapper_promptquery_wrapper_prompt,tokenizer_nameselected_model,model_nameselected_model,device_mapauto

)embed_model

HuggingFaceEmbedding(model_name/home/data/aaa/llamaindex/bge-small-zh-v1.5)Settings.llm

llm

SimpleDirectoryReader(/home/data/aaa/llamaindex/data).load_data()print(载入的数据-------------)

print(documents)

print(---------------------)index

VectorStoreIndex.from_documents(documents)#

Set

torch.cuda.is_available():torch.cuda.empty_cache()clear_cache()response

query_engine.query(问题)print(回答---------------)

print(response)clear_cache()注记得修改模型和数据路径

4输出结果

本讲内容介绍了LlamaIndex框架的两种使用方法通过API调用和本地部署具体包括以下几个方面

API实现RAG检索

LlamaIndex是一个帮助构建LLM应用程序的数据框架提供数据连接器、数据构建方法、高级检索接口以及与外部应用集成的功能。

遇到的常见错误及解决方法如包版本问题和模块缺失问题。

本地部署LlamaIndexQwen1.5实现RAG

通过创建示例代码文件实现了LlamaIndex与Qwen1.5模型的结合展示了从数据加载到查询响应的完整流程。

合著作者USTB-zmh

【RAG探索第3讲】LlamaIndex的API调用与本地部署实战

【RAG探索第2讲】大模型与知识图谱的融合之路优势互补与协同发展

【RAG探索第1讲】通过大模型读取外部文档的创新探索与自适应策略

大模型名词扫盲贴