不过，

前两天我在知乎刷到一个很有意思的问题：“一个人能做出什么开源项目？”

看到这个问题我非常有感触，因为今年我也做了一个开源项目。深切地感受到了一个人做开源项目有多不容易，即便是在有AI辅助的情况下仍然有诸多阻碍需要开发者去克服。项目开源了两个月，目前在 GitHub 获得了 1.3K star。如果你也想做开源，不妨先听听我的故事。

一句话说明这个项目

我做了一个开源实时数字人 Agent 框架：只需要一张照片，就可以生成一个能和你视频聊天的数字人。

从缘起来看。为什么想做实时数字人

年初迎来了 AI 视频生成大爆发，当时随手用小云雀生成了一段“蒂法”的视频，效果惊艳。心里想如果能打破第四面墙，与蒂法视频通话就好了。她能理解我的世界，我也可以让她聊更多内容。于是产生了建立实时数字人的想法。说起来，

开始动手——遇到硬件与模型的痛点

事情的转机在某个月份。机缘巧合下发现了 FlashTalk——一个音频驱动、支持实时推理的数字人模型。它效果好但代价高，需要一块 H200 显卡。幸运的是我当时正好能借到这块显卡，于是投入时间研究。

但显卡资源有限，朋友要还。我正苦于没有可用显卡时FlashTalk 团队又发布了 FlashHead，一个 .3B 模型，运行不再需要专业级显卡，却牺牲了一定效果。虽然效果略逊，但至少可以玩得起，解决了硬件瓶颈痛点。怎么说呢，

说到建立主要功能，全双工端到端实时视频通话

在 FlashHead 的基础上。我实现了全双工端到端的实时视频通话，并 了 UI、角色管理、角色定义等功能。我采比如用插件化设计，让数字人底座，还有TTS。再有ASR，另外LLM 全部模块化，方便使用者自定义形象。

记忆模块——让角色更生动

为了解决“角色缺乏个性”的痛点。我加入记忆模块，让定制的角色更加生动、有个性、更像真人。

：从模型 Demo 做成完整应用

经过将近几个月迭代。CyberVerse 现在集成了 FlashHead、LiveAct 两个本地数字人模型，还有百度曦灵、讯飞数字人等商用方案。还集比如成 OpenAI，还有千问，再有豆包等大模型。 为数字人的耳朵，另外大脑和声音提供支持。

受到 OpenClaw 和 Hermes Agent 的启发。我尝试将数字人与 Agent 结合，使其不仅是聊天陪伴，还能帮你干活。我采用主 Agent + SubAgent 的两层设计，SubAgent 负责更复杂任务，目前使用 pi Agent 作为主要，因为它简洁且易

最近又加上离线视频生成功能。让 CyberVerse 成为一站式数字人工作台：角色选择/编辑/离线生成/实时通话统统放在同一程序里只需一张参考图即可创建自己的角色；若不想要形象，也可关闭数字人模块，仅作为纯语音 Agent 使用。话说回来，

我一个人把它做到什么程度？还有常见痛点

• 硬件成本：SSE 推理往往需要高性能 GPU。一块 H200 显卡就足以完成，但获取成本高且难以长期使用；后期迁移至低算力模型也会损失质量。
• 研发周期长：Coding + 调参 + 集成多个模型。再加上 WebRTC 音画同步等细节，需要数百小时甚至更久才能达到可用状态。老实说，
• Ai 开发者社区虽活跃。但对专门针对实时数字人的讨论很少，所以遇到问题时往往只能自己摸索或查找分散资料。
• LLM 与 TTS/ASR 的插件化使得入门门槛提高，新手很难快速上手整体框架。
• CrybVerse 需兼容多种后端推理引擎及前端浏览器，在不同环境下调试成本极高。
• Conection 与数据流稳定是长期挑战。即使上线后仍需继续调整网络延迟与错误处理机制，以保持体验质量。

角色选择 & 编辑

• 使用者想要即时预览新建角色。但因为渲染耗时导致等待时间过长，这是一次体验痛点；
• 编辑界面功能繁杂。新手容易迷失方向，需要更友好的引导；

Workspace / 离线生成

• 离线生成需消耗大量算力和存储，对资源有限者是一大挑战；

实时通话

• 音画同步与延迟控制是关键难题，尤其在网络波动下如何保持流畅体验？，

一个人做开源的真实体感 & 后续规划

"