一场面试带来的思考

"同学。你简历上写了做过RAG项目，那你说说你的项目是怎么落地的？"

这是阿里面试官问我的第一个问题。当时我心里一紧，心想着这下完了。

我叫小李，某985高校计算机专业研究生一枚。从研一开始跟着导师做知识图谱相关的研究，研二下学期开始接触大语言模型。做了一个自己做的项目有多么"toy"：

我支支吾吾，大部分问题都答不上来。最终面试官看着我说："同学，你这个项目更像是一个demo。而不是一个可以工程化落地的项目。"

那一刻。 我突然意识到：做一个能跑的RAG demo和做一个真正能上线的RAG程序，之间差了十万八千里。

什么是“玩具RAG”?

在解释什么是可工程化落地之前，我们先来说说什么是“玩具RAG”。

简单讲玩具RAG，大概长这样：

# 一个典型的玩具RAG
class ToyRAG: def __init__: self.embedding = OpenAIEmbeddings self.vectorstore = Chroma.from_documents self.llm = ChatOpenAI
'\t'. 直接用问题去检索 '\t'. 直接把所有召回内容拼起来 '\t'. 直接构造prompt '\t'. 直接调用LLM return self.llm.chat

这个代码看起来简单明了功能似乎也能跑。但它能解决实际问题吗，按理说，从答案是来看，很难。

玩具RAG的问题

• 检索效果不可控:没有查询 、没有意图识别。召回的内容可能牛头不对马嘴
• 分块策略粗糙:一刀切的固定大小分块，不考虑语义完整性
• 没有容错机制:LLM调用失败怎么办？超时怎么办，按理说，返回结果质量差怎么办？
• <强无法评估优化
• <强无法保障性能 延迟多少 QPS多少 能不能支撑线上流量？