是字节跳动开源的大模型应用开发框架#xff0c;拥有稳定的内核#xff0c;灵活的扩展性#xff0c;完…前言

开发基于大模型的软件应用就像指挥一支足球队组件是能力各异的队员编排是灵活多变的战术数据是流转的足球。

Eino

是字节跳动开源的大模型应用开发框架拥有稳定的内核灵活的扩展性完善的工具生态可靠且易维护背靠豆包、抖音等应用的丰富实践经验。

初次使用

Eino就像接手一支实力雄厚的足球队即使教练是初出茅庐的潜力新人也可以踢出高质量、有内容的比赛。

下面就让我们一起踏上新手上路之旅

应用的基本构成元素是功能各异的组件就像足球队由不同位置角色的队员组成

组件名

(*schema.StreamReader[*schema.Message],

[]*schema.ToolInfo)

的开发过程中首先要做的是决定“我需要使用哪个组件抽象”再决定“我需要使用哪个具体组件实现”。

就像足球队先决定“我要上

interface

这支球队真正的威力需要多个组件协同编排成为一个相互联结的整体。

制定战术

开发的应用经过对各种组件的灵活编排就像一支足球队可以采用各种阵型能够支持无限丰富的业务场景。

Eino

有向图有最大的灵活性或有向无环图不支持分支但有清晰的祖先关系。

ChatTemplate

*Message]().AppendChatTemplate(prompt).AppendChatModel(model).Compile(ctx)

chain.Invoke(ctx,

graph.AddChatTemplateNode(node_template,

chatTpl)

graph.AddChatModelNode(node_model,

chatModel)

graph.AddLambdaNode(node_converter,

takeOne)_

现在想象下你接手的足球队用了一些黑科技比如在每个队员接球和出球的瞬间身上的球衣可以自动的记录接球和出球的速度、角度并传递给场边的服务器这样比赛结束后就可以统计出每个队员触球的情况和处理球的时间。

Eino

机制拿到输入输出及一些额外信息处理横切面需求。

比如一个简单的打日志能力

handler

NewHandlerBuilder().OnStartFn(func(ctx

context.Context,

再想象一下这个足球队的黑科技不止一种还可以让教练在比赛前制作“锦囊”并藏在球衣里当队员接球时这个锦囊就会播放教练事先录制好的妙计比如“别犹豫直接射门”。

听上去很有趣但有一个难点有的锦囊是给全队所有队员的有的锦囊是只给一类队员比如所有前锋的而有的锦囊甚至是只给单个队员的。

如何有效的做到锦囊妙计的分发

Eino

WithChatModelOption(model.WithTemperature(0.5)))//

call

WithCallbacks(handler).DesignateNode(node_1))

发现独门秘笈

StreamableTool身怀绝技他们踢出的球速度如此之快甚至出现了残影看上去就像是把一个完整的足球切成了很多片面对这样的“流式”足球对手球员手足无措不知道该如何接球但是你的球队的所有队员都能够完美的接球要么直接一个片一个片的接收“流式”足球并第一时间处理要么自动的把所有片拼接成完整的足球后再处理。

身怀这样的独门秘笈你的球队具备了面对其他球队的降维打击能力

Eino

中开发者只需要关注一个组件在“真实业务场景”中是否可以处理流式的输入以及是否可以生成流式的输出。

根据这个真实的场景具体的组件实现包括

Lambda

(*schema.StreamReader[*Message],

error)

编排能力还会自动处理流的合并、复制等各种细节把大模型应用的核心——流处理做到了极致。

一场训练赛

这支明星球队的主要能力是时候通过队员(组件)、战术(编排)、工具(切面、可视化)来一场训练赛去亲自体验一下它的强大。

场景设定

智能助手根据用户请求从知识库检索必要的信息并按需调用多种工具以完成对用户的请求的处理。

工具列表如下

DuckDuckGo从

样例用户可根据自己的场景更换自己的知识库和工具以搭建自己所需的智能助手。

先来一起看看基于

Indexing索引知识库将我们在特定领域沉淀的知识以分词、向量化等多种手段构建成索引以便在接收用户请求时索引出合适的上下文。

Eino

https://github.com/cloudwego/eino

https://github.com/cloudwego/eino-ext

「Eino

用户手册」https://www.cloudwego.io/zh/docs/eino/

EinoDev

https://www.cloudwego.io/zh/docs/eino/core_modules/devops/ide_plugin_guide/

「EinoDev

https://www.cloudwego.io/zh/docs/eino/core_modules/devops/visual_orchestration_plugin_guide/

火山云

https://console.volcengine.com/ark

需要实名认证后购买使用每人有

https://docs.docker.com/get-started/

Eino

https://github.com/cloudwego/eino-examples/tree/main/quickstart/eino_assistant

索引知识库

示例的仓库路径https://github.com/cloudwego/eino-examples/tree/main/quickstart/eino_assistant

Markdown

文件内容分成不同的片段并采用火山云的豆包向量化模型逐个将文本片段进行向量化存储到

Redis

指令行工具cmd/knowledge_indexing/eino-dcos

开发「索引知识库」应用时首先采用

代码生成后首先手动将该目录下的各组件的构造方法补充完整然后在业务场景中调用

方法构建并使用

火山引擎是字节跳动的云服务平台可从中注册和调用豆包大模型有大量免费额度。

doubao-pro-4k

「火山引擎在线推理」https://console.volcengine.com/ark

Redis

eino-examples/quickstart/eino_assistant

docker-compose.yml

eino-examples/quickstart/eino_assistant/data

Redis

github.com/cloudwego/eino/components/document

Output

document/transformer/splitter/markdown

FileLoader

中加载到的文本内容进一步拆分成合适的大小以平衡向量化计算/存储的尺寸限制和召回的效果。

indexer/redis

将选中的组件按照预期的拓扑结构进行编排完成编排后点击“生成代码”到指定目录。

「索引知识库」的代码生成到eino_assistant/eino/knowledgeindexing

Graph

按需完善各个组件的构造函数在构造函数中补充创建组件实例时需要的配置内容

方法在业务场景使用

BuildKnowledgeIndexing()用户可在需要的地方调用此方法创建实例进行使用

Markdown

详细代码可查看cmd/knowledgeindexing/main.go

PS:

xxx/eino-examples/quickstart/eino_assistant

eino

cmd/knowledgeindexing/eino-docs

运行指令

示例的仓库路径https://github.com/cloudwego/eino-examples/tree/main/quickstart/eino_assistant

构建一个基于从

github.com/cloudwego/eino/schema

其他置空

互联网搜索工具(DuckDuckGo)、EinoTool、GitClone、任务管理(TaskManager)、

OpenURL

将选中的组件按照预期的拓扑结构进行编排完成编排后点击“生成代码”到指定目录。

本示例中「Eino

按需完善各个组件的构造函数在构造函数中补充创建组件实例时需要的配置内容

BuildEinoAgent

Webhttp://127.0.0.1:8080/agent/

如果在运行时在

项目地址https://github.com/cloudwego/einohttps://github.com/cloudwego/eino-ext

Eino

用户手册https://www.cloudwego.io/zh/docs/eino/

扫描二维码加入飞书社群