上一篇文章完成了 BERT 在 ChnSentiCorp 上的微调训练并保存了验证集最优参数与最终一轮参数。训练时的 loss、验证集 acc 只能说明「学得好不好」，还要关注模型判得准不准

微调阶段中还有一个关键的步骤——模型测试设计评估指标。在测试集上验收微调效果，并给出可落地的验收口径。

需要本章配套源码和数据集的同学。可以点赞 + 关注，我会把完整工程发给你。

为什么要做效果评估？说起来，

• 从数据 → 训练 → 测试：
  • 训练阶段用验证集调参、选最优权重；
  • 测试集只在最终验收时用一次避免「背答案」导致指标虚高。
• 业务侧主要不止准确率：
  • Total accuracy ≥ %
  • 负面召回率 ≥ %
  • 正面精确率 ≥ %
• Pain Points for Users:
  • "我只看准确率，结果却漏掉了不少差评！"
  • "我怕误报太多，好评被错判成差评导致运营成本飙升！"
  • "我想得到一个可以直接交付给甲方的可视化报告！"
• A good evaluation metric helps you answer those questions.

场景一的观点是，电商网站的评论区自动审核

• 关键痛点：
• "差评漏判成好评：问题使用者被忽视，投诉升级，甚至引发公关危机"
• "好评误判为差评：浪费运营人力，影响正常商品曝光"

说到场景二，政府/公司的舆情监控程序

• 关键痛点：
• "漏掉一条负面言论：可能错过舆情危机发酵的关键窗口"
• "将中性或正面内容标为负面：严重干扰研判，导致误报泛滥"

从场景三来看，游戏/社交产品的使用者流失预警

• 关键痛点：
• "把负面情绪误判为中性：失去挽回高价值使用者的黄金机会"
• "把普通吐槽误判为极端差评：过度打扰使用者。反而加速流失"

You can see that different scenarios tolerate different levels of false negatives and false positives. Below we explain how to quantify se concerns using Accuracy,Precision,Recall,F1 and Confusion Matrix.

分类任务的主要指标

Bert fine‑tuned on ChnSentiCorp is a typical binary sentiment analysis dataset where "label=0"=negative and "label=1"=positive.

 : negative sentiment
 : positive sentiment

混淆矩阵示例解释

以下表格展示每个格子的业务含义与示例。

基础指标计算公式与业务意义

…，…

 ©
×
÷
-
-
é
é

批量推理并计算所有指标

主观验证流程 

This quick interactive check lets you type a sentence and instantly see what label your model predicts – handy for sanity checks before handing off reports.

准备模型与标签映射 🛠️🐛️💡⚠️🕵️‍♂️💬🔧📊🧩🛠️📘🗂️🔍🔎🔐💾🚀🎯🚨🚨🌟✏️🙌📈📉✅❌⚖️🔥🤔🤝🧪👀☑️👎👍🔁❓➕➖↔🔄✅❌😞😃🙂🙁😒😠😁😂🤣🥰😘😭😴💤⏱️⌛⌚⌨️⌨︎⌘✂️✍✉✉📤📥📦📦🏷🏷⚙⚙⚙🎯🏁⏰⏳⌚⏱⌚💻💽💾 💾 💻 🖥 🖥 🖱 🖲 🚀 🚀🚀🚀 🚀🚀 🚢 🚢 🚢 📦 📦 📦 📦 📦 ⬇⬇⬇⬇⬇ ⬅➡↔↕↖↗↘↙ ⇧⇩⇨⇦⇫⇭⇲⇶ ⇪ ⇬ ⇭ ⇱ ↩ ↪ ↫ ➡ ⬅ ☎☎☎☎ ☑☑☑ ☑ ☑ ☑ ✅ ❎ ⚠ ⚠ ⚠ ⚠ 🔒 🔓 🔓 🔓 🔐 🗝 🗝 🗝 🗝 🗝 💣 💣 💣 🎭 🎭 🎭 🎭 🎭 🎭 👹 👹 👹 👹 👹 👹 ♟ ♟ ♟ ♟ ♟ ♟ ♟ ♞ ♜♜♜♜♜♜♜♜♞♞♞♞♞♞"
)