上下文关联

知识相关度阈值score_threshold内容条数k是否启用上下文关联chunk_conent上下文最大长度chunk_size

其主要作用是在所在文档中扩展与当前query相似度较高的知识库的内容作为相关信息与query按照prompt规则组合后作为输入获得模型的回答。

获取查询句query嵌入faiss.py

similarity_search_with_score(self,

query:

self.embedding_function(query)docs

self.similarity_search_with_score_by_vector(embedding,

k)return

ls[i]:ls1.append(ls[i])else:lists.append(ls1)ls1

listsdef

similarity_search_with_score_by_vector(self,

embedding:

self._normalize_L2:faiss.normalize_L2(vector)#

shape均为(1,

k)这步获取与query有top-k相似度的知识库scores,

indices

len(self.index_to_docstore_id)rearrange_id_list

False#

doc.metadata[context_expand]):#

not

int(scores[0][j])docs.append(doc)continue#

其实存的都是indexid_set.add(i)docs_len

一个知识库是分句后得到的一句话i是当前知识库在总知识库中的位置store_len是总知识库大小#

range(1,

doc.metadata[context_expand_method]

forward:expand_range

doc.metadata[context_expand_method]

k]else:#

len(self.index_to_docstore_id):_id0

self.index_to_docstore_id[l]doc0

如果当前字数大于250或者是知识库跨了文件扩充上下文过程终止#

这一句有些问题有一端跨文件就终止应该是两端同时跨才终止才对if

docs_len

\doc.metadata[source]:break_flag

Truebreakelif

len(doc0.page_content)id_set.add(l)rearrange_id_list

Trueif

返回二级列表第一级是连续的index列表第二级是具体indexid_lists

id_seq

copy.deepcopy(self.docstore.search(_id))else:_id0

self.index_to_docstore_id[id]doc0

self.docstore.search(_id0)doc.page_content

doc0.page_contentif

因为可能会将多个连续的id合并因此需要将同一seq内所有位于top-k的知识库的分数取最小值作为seq对应的分数doc_score

min([scores[0][id]

indices[0]]])doc.metadata[score]

int(doc_score)docs.append(doc)#

注意这里docs没有按相似度排序可以自行加个sortreturn

def

get_knowledge_based_answer(self,

query,

STREAMING):related_docs_with_score

vector_store.similarity_search_with_score(query,

0:prompt

generate_prompt(related_docs_with_score,

query)else:prompt

queryanswer_result_stream_result

prompt,

prompt_template.replace({question},

context)return

其实就是要存多少历史记录如果为0的话就是在执行当前对话时不考虑历史问答

模型内部调用时使用以chatglm为例chatglm_llm.py

def

Optional[CallbackManagerForChainRun]

AnswerResultStream

inputs[self.history_key]streaming

inputs[self.streaming_key]prompt

inputs[self.prompt_key]print(f__call:{prompt})#

Create

transformers.StoppingCriteriaList()#

队列在每次响应时将

torch.FloatTensor同步到AnswerResultlistenerQueue

AnswerResultQueueSentinelTokenListenerQueue()stopping_criteria_list.append(listenerQueue)if

streaming:history

enumerate(self.checkPoint.model.stream_chat(self.checkPoint.tokenizer,prompt,#

为0时history返回[]historyhistory[-self.history_len:-1]

self.history_len

[],max_lengthself.max_token,temperatureself.temperature,top_pself.top_p,top_kself.top_k,stopping_criteriastopping_criteria_list)):向量匹配

top

虽然放在了模型配置那一页但实际上还是用来控制上下文关联里面的内容条数k的不知道为什么写了两遍。

。

。

class

score_threshold和k设太小会找不到问题对应的原文件太大找到一堆不相关的chunk_size设太小不能在原文件里找到问题对应的原文太大无法有效归纳出答案temperature和top_p默认值下生成的答案基本固定但也很死板过大的temperature导致回答的事实不稳定过大的top_p导致回答的语言风格不稳定调整top_k没发现结果有什么变化