本文提出了一种类似人工搜索的“顺藤摸瓜”方法#xff0c;实现图数据库的智能搜索方法。

本地私有数据存储和查询

随着微软已经开源了GraphRAG项目的代码基于图数据库的RAG

热度迅速升温。

关注基于大语言模型与图模型数据库相结合的技术的人多了起来。

本文提出了一种类似人工搜索的“顺藤摸瓜”方法实现图数据库的智能搜索方法。

本地私有数据存储和查询

又称为长期记忆。

通常就是将历史对话存储在内存或者数据库中但是这种方式不分青红皂白一股脑地存下来造成了各种幻觉例如

LLM

是从上传的文本中提取信息相同的内容是相对集中在一起的。

我们曾经尝试将历史数据存储在一个TEXT

存储到vector

chunks.将块存储到图数据库中并且连接到文档节点高度相似的块通过SIMILAR

关系连接成为邻近节点。

通过Embeddings生成矢量索引vector

diffbot-graph-transformer,提取块的主体和关系将主体存储到图中并且连接到原始的块

历史对话使用memory

模块来实现最简单的是将所有的对话都存储在内存短期记忆或者存储在数据库中长期记忆。

图数据库适合存储复杂关系的信息例如对话者的家庭关系。

个人简历。

LLM

利用大模型将非结构化数据转换成为图数据库的结构化数据利用大模型智能搜索图模型中的相关数据

数据存入图数据库

实现图数据库看起来是十分简单的事情许多的大模型能够直接产生图模型的查询语句。

事实上并没有想象的简单首先是LLM

提取实体和关系的名称是不确定的。

有时候存储和查询对话产生的实体和关系的类型不能够对应。

对于复杂的提问LLM

也无法生成完整的查询语句。

这就需要LLM具有智能或者说是模糊的查询的图数据库的能力。

通过vector数据库查询相关的节点内容这似乎失去了图模型的意义。

我们尝试模仿人类查询的方式根据实体的属性和所有的关系顺藤摸瓜地检索图数据库的信息。

姑且称之为“顺藤摸瓜法”。

顺藤摸瓜法

在图数据的查询实体节点的所有属性与该节点连接的相邻节点以及所有的关系集relationships。

Information

尝试回答问题如果已经得到了答案就直接输出答案如果没有获得答案就推荐下一步查询的子节点重复

站在一个节点上看哪个方向的节点更接近目标然后选择一个或者几个方向尝试。

每前进一步都需要思考。

数据库查询出“姚远”节点已经临近节点这是并不能回答“姚远的岳父是谁”但是他会回答“通过查询”刘素霞节点进一步查询。

终于LLM

的提示信息十分重要。

编写提示类似于辅导中学生做应用题不断地提示大模型如何正确的思考。

const

attribute}}],relashichips:[{source:source_node_name,target:target_node_name,type:relationship_type}]}json格式中的名称使用英文表示。

关系使用中文表达。

const

Prompt

提示:如果你已经有了答案请简单地以字符串给出答案。

否则请提示通过哪个节点能够进一步查询到相关信息(JSON

Prompt

graphDB.ReadNode(entities[i].name)ContextMessageContextMessageJSON.stringify(Result)}//const

Prefix

提示:如果你已经有了答案请简单地以字符串给出答案。

否则请提示通过哪个节点能够进一步查询到相关信息(JSON

Prompt

ContextMessageSuffixconsole.log(Prompt)const

completion

openai.chat.completions.create({messages:

[{role:

completion.choices[0].message.contentconsole.log(Content)let

Content.indexOf(json\n)console.log(pp)if

(p0){let

ContentBContent.replace(json\n,

)let

ContentB.substr(p,e-p)//console.log(JSonContent:JSonContent)const

entities

JSON.parse(JSonContent).entitiesconsole.log(entities:entities)const

Resultawait

PathSerch(entities,Message)return

Result}

实现图数据库的路径搜索图数据库存储是可能的它对于复杂关系的数据存储和检索是十分有效的。

对于关系不复杂的数据例如与时间相关的活动事件使用图模型并不合适不如使用传统数据库。

利用大模型构建一套高效的记忆系统的应用并不简单。

而增强人类的记忆能力是AI