Zui近跟幾個ZuoAI嘅朋友摟瞌,總有人問我「RAG到底係乜東西啊?大模型光憑記性真係夠咩?」今日咱就把這兩個問題掰扯清楚,保證用Zui接地氣嘅話講——畢竟技術呢啲野,越繞越糊塗,不如攤開左講啦親愛嘅.

咱先不談RAG,先聊聊大模型嘅本質:它其實係個「訓練數據嘅統計機器」.聽起來高級,但其實道理特簡單——就像你讀書時背課文,背得多咗見過嘅題目dou會Zuo,但讓你講今年剛發生嘅新聞?或者公司內部嘅專有數據?抱歉哦,它真係唔知.

為乜呢?三個硬傷擺在度: 第一個傷:知識有「截止日期」.無論係GPT-4定Claude-3,訓練數據dou有個「時間點死線」——GPT-4訓練到2023年10月,GPT-5估計也就到2024年底.你問佢「2025年雙11電商銷售額怎麼樣?」或者「剛過嘅6月份某行業政策變動?」它要不坦白「我唔知」,要不就開始胡編亂造. 第二個傷:腦子裝唔下所有東西.就算係千億參數嘅大模型,記憶容量其實有限得hen.訓練時見過但出現次數少嘅冷門知識,它隻Neng模糊記得個大概;至於企業內部報告、個人筆記這種「私有數據」? model根本沒見過世面嘛! 第三個傷:答完唔敢認帳.model生成答案係靠「概率抽樣」——簡單講就係猜一個kan起來合理嘅詞兒出來,根本無所謂「事實核查機制」.你問佢「這個數據來源邊度?」它十有八九會編一個假鏈接或者舊報道出來,連自己dou唔知錯咗.

害!這樣一kan,大模型單憑記性撐場面?純屬自欺欺人嘛!畢竟現實中誰會信一個連「資料來源」dou講不清嘅AI答覆呢?

搞清楚大模型嘅短板後,RAG嘅價值就顯出來瞭.RAG全稱Retrieval-Augmented Generation,直譯係「檢索增強生成」——聽名字就知道核心動作: 先生成問題相關嘅外部知識片段,再把這些片段塞進model裡面當作「開卷考試資訊卡」,Zui後讓model根據真實材料來組織答案.

這過程有多像人類寫論文啊!你會憑記性默寫所有參考文獻嗎?肯定不會啊!先登錄數據庫查原文複製關鍵段落過來,再重新組織語言—對,RAG就係讓AI幹這件事兒!

好多人以為R AG係啥高大上技術?其實拆開kan隻三個步驟,拿筆記一下就Neng秒懂:

顧名思義嘛!先要把原始文件處理成AINeng快速找到の形式.具體Zuo三件事: 1.切塊:把長文件切成一小段一小段.比如一篇萬字技術文檔,不Neng整體塞進去存——分太長會雜亂無章,分太短又丟上下文.我們團隊試過N種方法後發現:技術類文件按『章節/小節』切塊Zui穩,普通文本按512-1024 token切就行; 2.向量化:把每段文字變成一串數字.聽起來抽象?舉個例子:你問搜索欄「怎麼提升代碼質量」和「代碼點解寫得geng好」—雖然字面不同,but好のEmbedding模型會把這兩句話變成『向量空間裡距離超近の兩點』;而Ru果你輸入「今日天氣幾好啊」—那向量位置肯定飛遠瞭!常用のEmbedding模塊有OpenAI text-embedding-3-small、國產のBGE系列這些; 3.存進向量庫:Zui後把這些向量存在專門の地方—叫『向量數據庫』.這東西跟我們平時用の關係型數據庫完全唔同:關係庫找『準確匹配』,向量庫找『語義相似』.主流選項有FAISS、Milvus、Pinecone—選哪個kan你數據量啦~

當用戶問問題時,R AG會幹一件事:把問題也轉成向量,然後飛速扎進向量庫裡『掃描匹配』—Zui後掏出Top-K條Zui相關の文件片段出來.

不過偷偷講哦~現在好多進階版本會加一步『重排序』:先用初級檢索撈一波內容出來再甩給Cross-Encoder二次篩選—畢竟初級檢索可Neng會漏掉一些隱藏相關但距離稍遠の片段嘛!這一步對於醫療、法律這種『差一點就要出大事兒』の領域尤其重要~

Zui後一步簡直不要太順理成章!:把檢索到の片段+用戶原問題一起拼成一個新のPrompt,然後一股腦塞進大Model裡面—此時modelYi經從『憑記性答題』變成『拿著參考書抄答案』瞭!

舉個實際例子吧:)客戶問產品經理:『這個月銷售額下滑10%係邊度出問題?』—傳統Model可Neng會說『應該係市場競爭加劇吧…』但開啟瞭R AG之後呢?:Model會先從知識庫裡撈出《6月銷售報表》《營銷活動執行日誌》《客戶反饋匯總》這三份文件→拼接Prompt為→Zui後model輸出:—完美!既準確又有依據~

經常有人問我『既然有微調為乜還要學RA G ?難道微調唔香嗎?!』打住打住~兩者本質完全不同OK?!

簡單區分:微調係改變Model本身嘅『性格/技Neng』,RA G則係給Model配一個『隨身百科全書』. - Ru果你想讓Model學會某種特定格式輸出,或者掌握某個極冷門領域推理Neng力—請用微調!因為這時候需要改變Model內部參數才Neng達成; - 但Ru果你想讓Model隨時Neng查到Zui新行業報告/企業私有數據/個人筆記—甚至擔心上雲泄露隱私想搞本地部署—RA G絕對係首選啊親愛嘅!!!

我們團隊之前Zuo過一個邊緣設備項目:原本用4B參數本地Model答不了專業問題—but加瞭RA G之後直接讀取客戶內部ERP系統裏面嘅生產日誌和供應鏈數據→結果Model居然Neng準確預測下月原材料缺口…客戶當場驚呆說:\"這AI比我們財務經理還懂算賬啊!!!\"

哎話說到一半突然想到前陣子有人私訊我 :\"老師為什麼百度蜘蛛爬瞭我網站卻不收錄呀?!\"其實這個問題跟RA G哩邊兒檢索邏輯異曲同工哦～

百度收錄網站本質上亦是一種\"檢索\":蜘蛛爬取頁面內容後會存入自己嘅索引庫—butRu果你的頁面存在以下情況之一蜘蛛大概率不會收錄妳 :①內容質量低 ;②與Yi有頁面重複率太高 ;③違反平臺規則 .而RA G卻相反—it主動尋找與用戶問題高度相關且高質量の內容餵給model只要妳們家知識庫夠乾貨夠新鮮生成答案必定吊打純靠記憶의model冇問題～

Zui後想跟想試玩RA G 的童鞋提個醒 :這東西kan著簡單 but想Zuo好真得費心機 !我們團隊踩過嘅坑夠寫一本小冊子瞭 :

Embedding選錯瞭:一開始亂用某國產小廠模塊結果語義相似度低到哭_問\"蘋果手機怎麼樣\"居然撈出\"蘋果種植技術\"出來…後來換成BGE-M3才終於穩定;

分塊策略太蠢:曾經對醫療指南用固定token長度切塊結果一條完整處方被切成兩半檢索出來癡線一樣;後來改用基於\"醫療術語斷句\"才搞定;

Prompt模板沒設計:傻乎乎直接把整段檢索結果丟進去_害得model答非所問半天繞不回正題…後來學精瞭改用結構才正常;.

寫到Zui後突然想起剛入門時老大說過一句話 : \"技術從來dou不是噱頭解決痛點才是本錢\".RA G存在價值從來dou不是為瞭裝逼而是補齊大model那幾顆碩大白癡一樣의短板呀 !不管妳係Zuo企業服務想保護私有數據定係Zuo內容創作想讓答案geng有依據甚至只係想在家弄個本地AI幫忙查資料_R A Gdou是當今Zui好選擇之一～

害 !說那麼多幹嘛～有空不如自己動手搭個簡易版RA G試試 ?畢竟實踐出真知嘛 !拿LangChain或者LlamaIndex套模板就Neng跑通基礎流程等妳踩過幾坑之後就會發現 :原來所謂高級技術不過dou是將複雜事情拆成一步步笨功夫罷瞭～