Qwen2.5-7B-Instruct实操手册：Chainlit中嵌入PDF解析（Unstructured）预处理

1.

引言：当大模型遇到PDF文档

想象一下，你手头有一份几十页的PDF技术文档，里面包含了产品规格、技术参数、用户手册等各种信息。

你想快速找到某个特定功能的说明，或者让AI帮你总结文档的核心要点。

传统的方法是手动翻阅，或者用搜索功能一个个关键词去试，效率低下不说，还容易遗漏关键信息。

现在，有了Qwen2.5-7B-Instruct这样的智能语言模型，结合Chainlit的友好交互界面，我们可以让AI直接“读懂”PDF文档，然后像专家一样回答我们的问题。

但这里有个关键问题：PDF文件不是纯文本，AI模型无法直接处理。

这就需要我们今天要讲的“PDF解析预处理”技术。

简单来说，PDF解析就是把PDF文件里的文字、表格、图片等信息，转换成AI能理解的纯文本格式。

而Unstructured库，就是做这件事的得力工具。

本文将手把手带你完成从部署Qwen2.5模型，到用Chainlit搭建前端，再到集成Unstructured解析PDF的完整流程。

学完这篇教程，你就能轻松搭建一个能“阅读”PDF的智能问答助手。

2.

环境准备与核心工具介绍

在开始动手之前，我们先快速了解一下今天要用到的几个核心工具。

了解它们各自的作用，能帮你更好地理解整个流程。

2.1

Qwen2.5-7B-Instruct：你的智能大脑

Qwen2.5-7B-Instruct是通义千问团队发布的最新指令调优模型。

你可以把它理解为一个经过专门训练的“智能大脑”，特别擅长理解你的问题并给出准确的回答。

它有几个特点对我们处理文档特别有用：

• 知识量大：在编程、数学等领域有专业的知识储备，能理解技术文档里的术语。

• 擅长结构化数据：能较好地理解表格、列表等格式，这对于解析PDF中的技术规格表很有帮助。

• 支持长文本：最多能处理128K

  tokens的上下文，意味着它可以“记住”很长的文档内容。

• 多语言支持：支持包括中文在内的29种语言，处理中文PDF文档毫无压力。

2.2

vLLM：让模型跑得更快

vLLM是一个高性能的推理引擎，你可以把它想象成给模型安装的“涡轮增压器”。

它通过一些巧妙的技术，能大幅提升模型生成答案的速度，同时减少内存占用。

我们用vLLM来部署Qwen2.5模型，就是为了获得更好的响应体验。

2.3

Chainlit：好看的聊天界面

Chainlit是一个专门为AI应用设计的UI框架。

它帮你快速搭建一个类似ChatGPT的聊天界面，你不需要写复杂的前端代码，就能有一个美观、交互友好的应用界面。

用户通过这个界面输入问题、上传PDF文件，然后看到模型的回答。

2.4

Unstructured：PDF文档的“翻译官”

这是今天教程的重点工具。

Unstructured库专门负责把各种格式的文档（PDF、Word、PPT等）转换成结构化的文本数据。

对于PDF文件，它能：

• 提取纯文本内容
• 识别文档结构（标题、段落、列表等）
• 解析表格数据
• 保留基本的格式信息

有了这个“翻译官”，PDF文档才能被AI模型理解和处理。

3.

第一步：部署Qwen2.5-7B-Instruct模型服务

我们先从最基础的开始：让Qwen2.5模型跑起来。

这里我们用vLLM来部署，因为它简单高效。

3.1

安装必要的依赖

打开你的终端，创建一个新的Python环境（推荐使用Python

3.9或更高版本），然后安装vLLM：

#
python
vllm

vLLM会自动安装PyTorch等依赖，如果遇到CUDA相关的问题，可能需要根据你的显卡型号安装对应版本的PyTorch。

3.2

启动模型服务

安装完成后，用一行命令就能启动模型服务：

#
python
vllm.entrypoints.openai.api_server
--model
8000

这条命令做了几件事：

• 从Hugging

  Face下载Qwen2.5-7B-Instruct模型（第一次运行需要下载，大概14GB）

• 在本地8000端口启动一个API服务
• 服务兼容OpenAI的API格式，这意味着我们可以用类似调用ChatGPT的方式调用它

启动成功后，你会看到类似这样的输出：

INFO
07-28
quit)

重要提示：模型加载需要一些时间，特别是第一次运行。

请耐心等待直到看到“Uvicorn

running”的提示，这表示模型已经加载成功，可以接受请求了。

3.3

测试模型服务

模型服务启动后，我们可以先简单测试一下。

打开另一个终端窗口，用curl命令发送一个测试请求：

curl
http://localhost:8000/v1/completions
"Content-Type:
}'

如果一切正常，你会收到一个JSON格式的响应，里面包含模型生成的回答。

看到这个，说明你的模型服务已经正常运行了。

4.

第二步：用Chainlit搭建聊天前端

现在模型服务跑起来了，我们需要一个界面让用户能和模型对话。

Chainlit让这件事变得非常简单。

4.1

安装Chainlit

在同一个Python环境中安装Chainlit：

pip
install
创建Chainlit应用
创建一个新的Python文件，比如叫chat_app.py，然后写入以下代码：
import
chainlit
"http://localhost:8000/v1/chat/completions"
async
content="你好！我是基于Qwen2.5-7B-Instruct的AI助手。
我可以帮你分析PDF文档内容，有什么问题尽管问我吧！"
).send()
cl.Message(content="")
await
headers={"Content-Type":
timeout=60
result["choices"][0]["message"]["content"]
更新消息内容
f"请求失败，状态码：{response.status_code}"
response.text:
f"\n错误信息：{response.text}"
msg.content
requests.exceptions.ConnectionError:
msg.content
"无法连接到模型服务，请检查服务是否已启动（localhost:8000）"
await
f"处理请求时出错：{str(e)}"
await
这些示例问题会显示在输入框下方，用户可以直接点击使用
"""
message="请用简单的语言介绍一下你的能力和特点",
icon=""
message="你都能处理哪些类型的任务？",
icon=""
message="怎么上传PDF文档让你分析？",
运行Chainlit应用
保存文件后，在终端运行：
chainlit
run
chat_app.py
Chainlit会自动在浏览器中打开一个页面（通常是http://localhost:8000），你就能看到一个聊天界面了。
在输入框里试试问一些问题，比如“介绍一下你自己”，就能看到模型的回答。
注意：运行Chainlit之前，确保第一步中的模型服务（vLLM）已经在运行，并且监听在8000端口。
如果端口冲突，可以修改Chainlit或vLLM的端口号。
5.
第三步：集成Unstructured进行PDF解析
现在到了最关键的部分：让我们的应用能够处理PDF文档。
我们需要安装Unstructured库，并编写PDF解析的代码。
5.1
安装Unstructured及相关依赖
Unstructured库需要一些额外的依赖来处理PDF文件。
我们一次性安装所有需要的包：
#
pip
如果需要OCR功能（处理扫描版PDF）
pip
"unstructured[pdf,ocr]"
5.2
创建PDF解析模块
创建一个新的Python文件pdf_processor.py，专门处理PDF解析逻辑：
import
from
accept=["application/pdf"],
max_size_mb=50,
content="欢迎使用PDF智能问答助手！\n\n请先上传一个PDF文档，然后就可以针对文档内容提问了。
\n\n支持的功能：\n•
文档内容总结\n•
process_user_question(message.content,
message.session.id)
process_uploaded_pdf(file_element,
session_id:
cl.Message(content=f"正在处理PDF文件:
await
f"{session_id}_{file_element.name}")
with
pdf_processor.process_pdf(temp_path)
保存解析结果到会话
result["text_content"],
"chunks":
generate_document_summary(result["text_content"])
更新消息
{result['file_name']}\n"
f"•
{len(result['text_content'])}
字符\n"
{result['structure']['paragraphs']}个段落,
"
f"{len(result['structure']['titles'])}个标题,
"
f"{result['structure']['tables']}个表格\n\n"
f"**文档摘要**\n{summary}\n\n"
f"现在你可以针对这个文档提问了！"
await
pdf_processor.save_processed_text(result)
else:
process_user_question(question:
str,
cl.Message(content="")
await
user_pdf_content.get(session_id)
pdf_info:
answer_with_pdf_context(question,
pdf_info)
answer_general_question(question)
msg.content
answer_with_pdf_context(question:
str,
pdf_info["text_content"][:3000]
取前3000字符作为上下文
f"""基于以下文档内容回答问题：
文档内容：
请根据文档内容回答，如果文档中没有相关信息，请说明“文档中未找到相关信息”。
回答要简洁明了，重点突出。
"""
调用模型
answer_general_question(question:
str)
f"""你是一个AI助手，请回答以下问题：
问题：{question}
generate_document_summary(text_content:
str)
f"""请为以下文档内容生成一个简洁的摘要：
文档内容：
headers={"Content-Type":
timeout=120
result["choices"][0]["message"]["content"]
else:
f"模型请求失败，状态码：{response.status_code}"
except
requests.exceptions.ConnectionError:
return
"无法连接到模型服务，请检查服务是否已启动。
"
except
f"调用模型时出错：{str(e)}"
@cl.set_starters
message="请总结一下这个文档的主要内容",
icon=""
message="文档中提到了哪些重要的技术参数？",
icon=""
message="文档中提到的XXX概念是什么意思？",
icon=""
message="文档中描述的操作步骤是什么？",
icon=""
运行完整应用
现在我们可以运行完整的应用了。
确保：
模型服务正在运行（第一步中的vLLM服务）
安装所有依赖：
pip
install
pillow
运行Chainlit应用：
chainlit
run
chat_app.py
应用启动后，在浏览器中打开Chainlit界面，你会看到：
一个文件上传区域，可以上传PDF文件
一些示例问题，可以直接点击使用
聊天界面，可以输入问题
6.3
使用流程演示
让我们通过一个实际例子看看如何使用这个应用：
上传PDF文档：
点击上传按钮，选择你的PDF文件（比如一份产品说明书）
系统会自动解析PDF，并显示解析结果和文档摘要
提问关于文档的问题：
"这个产品的主要功能是什么？"
"安装步骤有哪些？"
"技术规格表中的最大功率是多少？"
"安全注意事项有哪些？"
查看回答：
模型会基于PDF内容给出准确的回答
如果文档中没有相关信息，模型会如实告知
多轮对话：
基于之前的回答继续提问
"能详细说明一下第三步的操作吗？"
"这个功能和之前提到的另一个功能有什么关联？"
7.
高级功能与优化建议
基本的PDF问答功能已经实现了，但我们可以让它更强大、更好用。
这里分享一些进阶功能和优化建议。
7.1
处理长文档的分块策略
当PDF文档很长时，我们需要更智能的分块策略：
def
smart_chunking(text:
智能分块：按语义和结构分块，而不是简单按字数
"""
添加文档检索功能
对于很长的文档，我们可以添加检索功能，只把相关的部分传给模型：
import
numpy
SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
def
np.linalg.norm(question_embedding)
np.linalg.norm(chunk_embedding)
similarities.append((similarity,
i))
similarities.sort(reverse=True)
relevant_indices
relevant_chunks
7.3
支持多种文档格式
除了PDF，我们还可以扩展支持其他格式：
from
import
os.path.splitext(file_path)[1].lower()
ext
"""使用unstructured的自动分区功能"""
elements
partition(filename=file_path)
text_content
添加对话历史管理
为了让多轮对话更连贯，我们可以管理对话历史：
from
collections
"""添加消息到对话历史"""
session_id
deque(maxlen=self.max_history)
self.conversations[session_id].append({
"role":
"""获取对话历史"""
return
list(self.conversations.get(session_id,
[]))
"""清空对话历史"""
session_id
self.conversations[session_id].clear()
8.
总结
通过这篇教程，我们完成了一个完整的PDF智能问答系统的搭建。
让我们回顾一下关键步骤和学到的东西：
8.1
核心成果
部署了强大的语言模型：使用vLLM部署了Qwen2.5-7B-Instruct，获得了高性能的推理能力
搭建了友好的交互界面：用Chainlit创建了类似ChatGPT的聊天界面，支持文件上传和对话
实现了PDF解析功能：集成Unstructured库，能够提取PDF中的文本、表格、结构等信息
创建了完整的应用：将模型、界面、文档处理整合在一起，实现了基于文档内容的智能问答
8.2
关键技术点
PDF解析：使用Unstructured库处理各种格式的PDF文档
上下文管理：智能分块和检索，让模型能够处理长文档
提示词工程：设计合适的提示词，让模型基于文档内容准确回答
错误处理：完善的异常处理，确保应用稳定运行
8.3
实际应用价值
这个系统可以应用在很多实际场景中：
技术文档问答：快速查找产品规格、操作步骤
学术论文分析：总结论文要点，回答相关问题
法律合同审查：提取关键条款，回答法律问题
企业知识库：基于内部文档构建智能问答系统
教育培训：基于教材内容回答学生问题
8.4
下一步改进方向
如果你想让这个系统更强大，可以考虑：
添加更多文档格式支持：Word、Excel、PPT、图片OCR等
优化检索效果：使用更先进的向量检索技术
添加多轮对话记忆：让模型记住之前的对话内容
支持批量处理：一次上传多个文档，构建知识库
添加用户认证：保护敏感文档内容
部署到云端：使用Docker容器化，部署到云服务器
8.5
遇到的常见问题及解决
在实际使用中，你可能会遇到这些问题：
模型加载慢：第一次加载需要下载模型，耐心等待即可
PDF解析失败：尝试不同的解析策略（hi_res/fast/ocr_only）
内存不足：如果文档太大，考虑分块处理或增加内存
回答不准确：优化提示词，提供更明确的上下文
这个项目展示了如何将先进的大语言模型与实用的文档处理技术结合起来，解决真实世界的问题。
希望这个教程能帮助你快速上手，并在此基础上构建更强大的应用。
/>
获取更多AI镜像
想探索更多AI镜像和应用场景？访问
CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。