很多人像你提到的前同事一样。原本从事 Java 开发，却被迫转行做 Agent 开发。公司“要么转型要么离职”，你只能硬着头皮上。这不仅带来了技术上的学习压力，更有每晚被“打鸡血”般要求聊五块钱、解释模型强弱等商业痛点。

痛点一这方面，不知道该选哪种大模型

当你被问到“哪个大模型最强？”时往往会陷入信息混乱，真正需要的是先拆解业务需求。再给每个子任务挑选合适的模型，而不是盲目追逐“最强”。不过，

痛点二的观点是。多模态与功能的区别不清晰

很多团队把多模态视为万能工具，却忽略了它并不等同于“能看图、听语音、生成图片”。一样，多功能模型也不一定能完成所有任务。理解两者区别，可以避免后期因为误用模型导致成本飙升。

从痛点三来看，Agent 架构复杂。难以落地

把一个看似简单的聊天窗口拆成多个模型、检索程序、业务规则和执行器，往往让人望而却步。缺乏清晰流程图或伪代码示例，团队很难快速搭建原型。

一、按模态分类：了解输入输出

模态决定模型能处理什么信息。老实说，

1️⃣ 生成模型：推理 & 表达

• 理解使用者目标
• 决定使用哪种工具
• 将证据整理成可读答案
  但请记住的观点是。只会返回参数，并不能直接调用工具。其实，实际执行权属于应用层，需要考虑权限、安全与审计。话说回来，

  2️⃣ Embedding 模型：语义向量化

  "公司有万份制度文件"。无法直接塞进 LLM 上下文。我们通常先做 chunk → vector → 相似度检索 → 再取候选文档片段。

  维度高低需结合业务评估；过高会增加存储与计算成本。

  3️⃣ Rerank 模型：精细排序

  "Embedding" 的召回快但粗糙。Rerank 用更精细、更昂贵的方法重新评估 query 与候选文档关系，实现真正的“真正相关”。两阶段检索常见： text 使用者问题 → Embedding/KW 检索 TopN1 → Rerank TopN2 → 输出 TopK → 阈值需针对业务进行校准。

  4️⃣ 分类模型：精准判断