Nemu 第二天：从对话到识钉钉指令

说到上午，先决定哪些数据不能发出去

我们面临的主要痛点是使用者担忧隐私泄露——特别是 API Key、当前上下文与长期记忆可能被意外上传。

• Provider‑neutral ModelGateway: 业务层不直接调用 DeepSeek，而是通过统一入口处理超时、重试与异常去敏。
• 单向 API Key 存储: Renderer 只能提交 Key，Main 再一次性解密后传给 Python Core；Key 永远不进入渲染器快照、Prompt 或日志。
• 配置模型并不等于允许数据外发: Cloud Gate 必须同时满足多项权限开关，Conversation Text 等数据类别各自独立控制。
• Memory 与 Knowledge 在 Prompt 中分离: TutorContextBuilder 构造有限且分区的上下文，避免跨客人记忆混淆。
• 模型不能伪造本地 Citation: 返回结构固定为 {suggested_text。citation_keys,memory_refs}；所有引用均需在本地验证通过后才标记为 GENERATED。话说回来，

最终得到第一条真实闭环：建议 → 编辑 → 反馈。但不会自动发送消息。这正符合使用者“想要控制何时发布”的痛点。

下午的观点是，UIA 对钉钉的边界暴露出来

DingTalk 在 UIA 层无法提供可靠的聊天语义信息。不过，- 使用者期望能自动读取新消息，却只能手动复制文字。- UIA 只暴露了文本集合，无法确认消息顺序与发送者。

"这不是产品级别的数据采集"

No Silent Fallback原则：

• If UIA fails → Stop / Blocked，不会静默切换到 Screenshot/OCR/Vision。
• A Spike 探索性实现了 DingTalk HWND Screenshot + Vision。但严格限定在前台唯一窗口、一次性捕获，并要求显式同意 Cloud Egress。
• Screenshots 不被存储在应用内，也不触发任何后台上传或重试机制。

Screenshots 证明 Vision 可行。但仍未达到“SUPPORTED”标准——因为它仅捕获自身消息，没有展示双向或群组语义。

说到产品方向调整，三态助手

• 默认模式:
• "似乎出现新回复" 时不自动上传图片；想要触发 Vision 授权与调用流程，必须使用者点击“理解一下”。
• 界面在识别成功前保持空白，不做猜测展示。
• 高级模式:
• User 必须单独授权 “钉钉本地视觉感知” 与 “自动图片 Cloud Egress”。说到条件包括，当前前台窗口为 DingTalk、已授权单聊、viewport 接近实时尾部等。Vision 仅解释已确认的新证据，不负责发现变化。此模式”的架构优点，

此设计解决了使用者常见痛点：1) **不要无谓抓取全桌面**；2) **控制何时上传敏感截图**；3) **确保隐私暂停优先**。

Lifestyle Companion Portal：重新分配桌面窗口职责

DingTalk 前一天冻结的设计将桌面体验拆成三原生窗口：

窗口名称	职责说明
OrbWindow	仅承担状态显示与拖动入口；保持极简占用空间，让主窗口保持轻量化。
PortalWindow	专注于阅读与回复建议；不会持久化透明拦截层，以免影响鼠标操作体验。
ControlCenterWindow	承载模型选择、记忆管理及活动记录。不再 always-on-top，避免干扰工作流。

*此拆分彻底消除了 “透明置顶窗口拦截鼠标” 的痛点，并提高整体性能和安全感*。

This Day’s Numbers & Takeaways

• #提交 & 代码变更
  • 17 文件变更
  • 190 Python 测试文件
• #测试覆盖
  • Python Core + Screenshot Spike tests : passed / skipped
  • TypeScript typecheck : pass
  • Vite/Electron build : pass
  • Vision Spike safety tests : passed / failed

. 接入模型 = 增加一条可信的数据出境方法。而非简单加一个 API 接口.

. 可解释性必须在模型调用前就设定好，否则返回会出现无法验证的引用.

. 一次编辑并不能代表长期人格改变，需要多条证据和使用者确认.. 实验失败可促成架构调整，但绝不能绕过授权流程.下一篇预告：从 Gate 设计走向真实 DingTalk 单聊候选执行器我们将在下一篇中探讨如何判断画面变化是否确实是“对方新消息”，还有如何处理 burst、输入中的自回复、会话切换和历史翻阅，同时保证默认模式永不上传图片至云端。

---