怎么说呢，

在之前的 RAG 示例中。知识库直接使用了硬编码的 knowledge 数组，这在实际项目里根本不可行。真实比如业务中，资料往往散落在 TXT，还有PDF。再有Word，另外甚至是在线 HTML 页面中。如何高效、可靠地把这些文档转化为可检索的文本，是每个想要落地 AI 应用的开发者都会碰到的第一道坎。

🔎 使用者痛点一：从本地 TXT 文件读取文本却频繁报错

很多同学在 Windows 环境下直接使用以下代码读取 knowledge.txt结果出现：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xca in position ...

根本原因是 Windows 默认保存为 GBK，而代码硬性指定了 UTF‑8。

方法的观点是，兼容 UTF‑8 与 GBK 的通用读取函数

def load_knowledge_from_txt:
"""自动尝试 UTF‑8，若失败回退到 GBK"""
knowledge =
# 先尝试 UTF‑8，如果抛异常则切换为 GBK
for enc in :
说到try。with open as f:
for line in f:
line = line.strip
if line: # 剔除空行
knowledge.append
break # 成功读取后退出循环
except UnicodeDecodeError:
continue # 换下一个编码再试
return knowledge
# 自动加载同目录下的 knowledge.txt
knowledge = load_knowledge_from_txt

🔎 使用者痛点二：TXT 内容是长段落，直接放进数组导致检索效率低下

如果每行都是几百字的大段落，向量化后会出现：

• 向量长度不统一，导致相似度计算不准确；
• 检索返回的片段过长，使用者阅读成本高。老实说，

需要把原始文本按照句号拆分。而且合并成适当长度的块，

说到方法，基于句号的自动分块并控制最小字数

def load_full_text:
"""一次性读取完整文本，兼容 UTF‑8 与 GBK"""
for enc in :
从try来看。with open as f:
return f.read.strip
except UnicodeDecodeError:
continue
raise ValueError
raw_text = load_full_text
def split_text:
"""
按句号切分，保证每块长度在 之间。若当前块不足 min_len，则与下一句合并。"""
sentences =
chunks,cur =,""
for sen in sentences:
# 若加入当前句后仍不超过上限，就累加
if len + len <= max_len:
            cur += sen
        else:
            # 当前块已满足最小长度要求，直接存入
            if len>= min_len:
chunks.append)
cur = sen
至于else。# 不足最小长度时强制合并下一句
cur += sen
if cur:
chunks.append)
return chunks
# 得到符合要求的知识块列表
knowledge = split_text

🛠️ 完整工作流概览

1. 读取文档：使用上面的 load_knowledge_from_txt/load_full_text 自动识别编码。
2. 文本清洗 & 分块：split_text 按句号切分、过滤空行、控制块大小。
3. 向量化：把 knowledge 列表逐条送入 Embedding 模型，得到向量。
4. 建立索引：将向量写入 FAISS或 Chroma等向量库。
5. 检索 & 生成：LlamaIndex / LangChain 等框架把检索结果喂给大模型，实现 RAG。

🚀 快速上手示例

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np
# 1️⃣ 加载模型
model = SentenceTransformer
# 2️⃣ 将知识块转成向量
embeds = model.encode
# 3️⃣ 建立 FAISS 索引
dim = embeds.shape
index = faiss.IndexFlatL2
index.add.astype)
# 4️⃣ 简单检索函数
def retrieve:
q_vec = model.encode
D。I = index.search.astype,top_k)
return for i in I]
# 示例查询
print)

📚 小结 & 后续阅读路线图

• Pain Point 1：编码不匹配导致读取失败 → 用双重尝试实现无缝兼容。
• Pain Point 2：CCTV 大段落影响检索质量 → 基于句号分块并设定长度阈值。
• Pain Point 3：从文件到向量库缺乏端到端示例 → 提供完整代码链路，可直接替换进已有 RAG 项目。话说回来，

本系列完整目录请参考《15天学会 AI 应用开发全目录》。其中还有 PDF/Word/HTML 文档抽取、Chunking 调整、混合检索等进阶章节。

接下来建议 🚀

• 将 PDF、Word 转 txt（推荐使用 /)；不过，
• 实现多语言分词器。以支持英文/日文等非中文场景；
• 把 Chroma 替换为 Milvus 或 Pinecone，实现大规模云端部署；
• 在 LangChain 中加入自定义 Prompt，实现「业务专属」对话风格。

祝你在「15 天速成 AI 开发」之路上顺利建立出实战级 RAG 知识库！🎉

痛点一：Tiny‑RAG 示例里直接使用硬编码数组 ​knowledge​​,而真实项目中数据散落在 TXT、PDF、Word、HTML 等各种文件里如何批量提取文本成为第一道拦路虎。话说回来，

一、从本地 TXT 文件读取原始文本 🎯 — 兼容多种字符集。不再手动改文件编码 — 一步到位生成知识数组

痛点二：windows 下常见 “UnicodeDecodeError: 'utf‑8' codec can't decode byte…”，因为程序默认保存为 GBK，而代码硬写成 UTF‑8 导致报错。

def load_knowledge_from_txt:
"""自动尝试 UTF‑8，若失败回退到 GBK"""
knowledge =
# 按顺序尝试两种常见编码，一旦成功立即跳出循环
for enc in :
至于try。with open as f:
for line in f:
line = line.strip
if line: # 剔除空行和空白字符
knowledge.append
break # 成功读取后退出循环
except UnicodeDecodeError:
continue # 编码不匹配则换下一个继续尝试
return knowledge
# 自动加载同目录下的 knowledge.txt → 返回 List
knowledge = load_knowledge_from_txt

二、TXT 文本太长怎么办？📄 — 按句号拆分 → 合并短句 → 控制块大小

痛点三：T​XT 中往往是一段段大段文字，一行可能包含数十个句子。怎么说呢，直接把每行塞进数组会导致:

• 向量维度差异大。检索相似度失真，
• 返回内容冗长，用戶阅读成本飙升；
• 短句信息被埋没，召回率下降。

至于解决思路，基于句号自动分块 + 长度阈值过滤

def loadfulltext:
"""一次性读入整个文件，一样兼容 UTF‑8 与 GBK"""
for enc in :
try的观点是。with open as f:
return f.read.strip
except UnicodeDecodeError:
continue
raise ValueError

rawtext = loadfull_text

def splittext: """ 1️⃣ 按中文句号“。”拆分 2️⃣ 每个块长度保持在 区间 3️⃣ 若当前块不足 minlen，则与下一句合并 """ sentences = chunks,cur =,"" for sen in sentences: if len + len <= maxlen: # 未超上限 → 累加 cur += sen 从else来看。if len>= minlen: # 已满足最小阈值 → 写入 chunks.append)

...

... # End of response

。

---