。

最后#xff0c;你将拥有一个将检索、搜索和生成过程结合在一起的工作界面#xff0c;同时使事情易于调整和探索。

不想读完整个内…作者来自

UI。

最后你将拥有一个将检索、搜索和生成过程结合在一起的工作界面同时使事情易于调整和探索。

Open

应用程序的工作原理。

用户可用的关键控制和自定义选项。

改进搜索、检索和响应生成的增强功能。

从高层次来看该应用程序接收用户的搜索查询或问题并按照以下步骤进行

使用混合搜索结合文本匹配和语义搜索检索相关文档。

显示匹配的文档摘要并提供指向完整内容的链接。

使用检索到的文档和预定义的指令构建提示。

从大型语言模型LLM生成响应并提供来自

Elasticsearch

该应用程序提供了多种控件来优化搜索和响应生成。

以下是主要功能的细分

搜索框

增加来源通常有助于提高响应的基础但过多的来源可能会导致不必要的

token

让我们看一下与该应用程序最相关的几个代码段如果你想修改它以使用不同的数据集这些代码段可能会很有用。

Elasticsearch

};通过使用混合检索器我们可以支持基于关键词的搜索以及更符合自然语言的问题搜索而这正逐渐成为人们日常搜索的常态。

你会注意到在这个查询中我们使用了高亮highlight功能。

这使我们能够在

Elasticsearch

的提示词并选择使用匹配片段作为支撑时高亮功能还能帮助我们利用这些匹配片段进行内容补充。

Elasticsearch

响应中提取搜索结果hits确保它们存在并以预期的数组格式返回。

500

hit.highlight?.semantic_body?.[0]

preview

hit.highlight?.semantic_body?.[0]

chunk

hit.fields?.url_path?.[0]?.startsWith(https://www.elastic.co)?

https://www.elastic.co${hit.fields?.url_path?.[0]

#},main_text,

result?.aggregations?.lab_sources?.buckets;if

(!aggregationData

!Array.isArray(aggregationData))

{console.warn(⚠️

JSON.stringify(aggregationData,

null,

来源列表方便用户查看搜索结果的来源。

这样用户可以选择他们想要包含的特定来源并在重新搜索时已选中的实验室将作为过滤条件。

状态管理

/components/SearchInterface.tsx

const

/components/SearchInterface.tsx

const

${query});setGeneratedResponse();setGeneratedPrompt();

const

JSON.stringify({query,apiKey,apiUrl,selectedLabSources:

selectedSources,numSources,useChunk,}),});const

data

response.json();setSearchResults(data.results);该函数将查询发送到

/api/search如前面的代码片段所示并包括用户选择的来源、支撑设置以及

API

/components/SearchInterface.tsx

const

/components/SearchInterface.tsx

const

(${source.url})).join(\n);const

prompt

question:${formattedDocs}${promptInstruction}Format

***

/components/SearchInterface.tsx

const

response.body.getReader();const

decoder

eventchunk.split(\n).forEach((line)

{if

dynamicallysetGeneratedResponse((prev)

prev

fetch(${apiUrl}/_inference/completion/azure_openai_gpt-4o/_stream,

{method:

application/json,Authorization:

ApiKey

这段代码相对简单。

我们将请求发送到我们在设置过程中创建的流式推理

API

ReadableStream({start(controller)

{async

{controller.close();return;}controller.enqueue(decoder.decode(value,

stream:

现在我们已经审查了代码中的一些关键部分让我们来安装并启动系统。

Completion

_inference/completion/azure_openai_completion

{service:

gitgithub.com:jeffvestal/rag-really-tied-***-app-toge***r.git

zip

我们将以开发模式运行。

这通过实时重新加载和调试来运行。

有一种生产模式可以运行优化的生产版本以供部署。

npm

(rag-ties-***-app-toge***r-frontend)

rag-ties-***-app-toge***r-frontend

npm

rag-ties-***-app-toge***r-frontend0.1.0

devnext

运行其他程序则你的应用程序将开始使用下一个可用端口。

只需查看输出即可了解它使用了哪个端口。

如果你希望它在特定端口上运行比如

PORT4000

使用该应用程序之前你需要做的第一件事是设置你的连接凭据。

为此请单击右上角的齿轮图标⚙️。

API

要开始只需提出问题或在搜索栏中输入搜索查询。

其余一切保持原样。

该应用程序将查询

一旦初始搜索结果和生成的响应显示出来用户可以进行跟进并对设置做出一些更改。

实验室来源

你可以选择仅包含你希望在搜索结果中考虑的来源并重新点击搜索。

随后的搜索将使用选中的来源作为

Elasticsearch

提供支撑文档。

这有助于减少幻觉虽然没有什么是完美的。

然而你可能希望允许

LLM

应在响应的末尾提供警告告诉你是否在支撑文档之外进行了推理。

正如许多

LLM

的行为一样这并不是绝对保证的。

因此对于这些响应还是要谨慎使用。

来源数量

提供更多的信息来生成响应。

有时提供整个关于某个专门主题的博客效果最佳。

这取决于主题的分布。

一些主题会在多个博客中以不同的方式进行讨论。

因此提供更多来源可以产生更丰富的回答。

对于某些更加深奥的主题可能只会在一个博客中涉及额外的片段可能不会有帮助。

片段或文档

通常不是生成答案的最佳方式。

虽然大多数博客相比于许多其他文档来源相对较短比如健康保险政策文件但将长文档直接传递给

LLM

有几个缺点。

首先如果相关信息只在两段中然而你提供了二十段那么你就为十八段无用的内容付费。

其次这些无用信息会减慢

LLM

通常除非有充分的理由发送整个文档在本例中是博客否则最好坚持使用片段。

Elasticsearch

当然我们可以添加很多功能并调整一些设置以使体验更加完善。

但这已经是一个不错的开始。

提供代码给社区的好处是你可以根据自己的需求自由定制和调整。

敬请关注第

要为你的用例构建最佳搜索解决方案可以开始免费云试用或立即在本地机器上尝试

原文ChatGPT