使用大量的数据训练出一个非常大的模型。

一般是数十亿到上万亿的参数规模。

bywenwenc9

使用大量的数据训练出一个非常大的模型。

一般是数十亿到上万亿的参数规模。

这些大模型可以捕捉到非常复杂的语言规律和知识,从而具有很强的自然语言处理能力

大语言模型

是一种语言模型由具有许多参数通常数十亿个权重或更多的人工神经网络组成使用自监督学习或半监督学习对大量未标记文本进行训练[1]。

大型语言模型在2018年左右出现并在各种任务中表现出色[2]。

这个术语没有正式的定义但它通常指的是参数数量在数十亿或更多数量级的深度学习模型[3]。

大型语言模型是通用的模型在广泛的任务中表现出色而不是针对一项特定任务例如情感分析、命名实体识别或数学推理进行训练[2]。

在预测句子中的下一个单词等简单任务上接受过训练但发现具有足够训练和参数计数的神经语言模型可以捕获人类语言的大部分句法和语义。

此外大型语言模型展示了相当多的关于世界的常识并且能够在训练期间“记住”大量事实。

LangChain

的应用程序的创建。

它提供了链的标准接口、与其他工具的大量集成以及常见应用程序的端到端链。

它允许人工智能开发人员基于组合的大型语言模型LLM例如

GPT-4与外部计算和数据源来开发应用程序。

该框架附带了适用于

Python

遵循一般流程用户向语言模型提出问题其中问题的向量表示用于在向量数据库中进行相似性搜索并从向量数据库中获取相关信息然后将响应馈送到语言模型。

此外语言模型生成答案或采取行动。

而langchain集成了工具件可以实现模型获得外部知识进行对话等操作

聊天机器人LangChain

可用于构建与用户自然交互的聊天机器人。

例如LangChain可以用来构建一个聊天机器人可以回答客户的问题提供客户帮助甚至安排约会。

代码分析LangChain可用于分析代码并发现潜在的错误或安全漏洞。

使用来源回答问题LangChain

可用于使用多种来源回答问题包括文本、代码和数据。

例如LangChain

可用于通过搜索各种来源例如维基百科、新闻文章和代码存储库来回答有关特定主题的问题。

数据增强LangChain可以通过生成与现有数据相似的新数据来增强数据。

例如LangChain可用于生成与现有文本数据相似的新文本数据。

这对于训练机器学习模型或创建新数据集非常有用。

文本分类LangChain可以利用文本输入数据进行文本分类和情感分析文本摘要LangChain可用于对指定字数或句子数的文本进行摘要。

机器翻译LangChain可用于将输入的文本数据翻译成不同的语言。

3、安装langchain

langchain[llms]安装LangChain时包括大多数相关的库

pip

https://github.com/langchain-ai/langchain

二、核心组件说明

在langchain中下面列举了6大核心模块上图为这6大模块中的核心组件

Model

与语言模型的交互比如在线GPT系列或各种离线模型2、Retieval

与应用程序特定数据的接口应用程序可以是模型可以是数据库文档等等因为它实现了模型获取外部知识3、Chains

构造调用序列链允许我们将多个组件组合在一起创建一个单一的、一致的应用程序。

例如我们可以创建一个链该链接接受用户输入使用

PromptTemplate

LLM。

我们可以通过将多个链组合在一起或者通过将链与其他组件组合在一起来构建更复杂的链。

4、Agents

在链运行之间保持应用程序状态向量数据库内存RAM等交互作用6、Callbacks

1、关于OpenAi

ChatGPT和GPT-4我想就没有必要赘言了网上已经有太多资料了。

但是要继续咱们的LangChain你需要对OpenAI的API有进一步的了解。

LangChain本质上就是对各种大模型提供的API的套壳是为了方便我们使用这些API搭建起来的一些框架、模块和接口。

因此要了解LangChain的底层逻辑需要了解大模型的API的基本设计思路。

而目前接口最完备的、同时也是最强大的大语言模型当然是OpenAI提供的GPT家族模型。

https://openai.com/blog/openai-api

建议去官方文档看看

这两类Model是大语言模型的代表。

当然OpenAI还提供Image、Audio和其它类型的模型目前它们不是LangChain所支持的重点模型数量也比较少

Chat

Model聊天模型用于产生人类和AI之间的对话代表模型当然是gpt-3.5-turbo也就是ChatGPT和GPT-4。

当然OpenAI还提供其它的版本gpt-3.5-turbo-0613代表ChatGPT在2023年6月13号的一个快照而gpt-3.5-turbo-16k则代表这个模型可以接收16K长度的Token而不是通常的4K。

注意了gpt-3.5-turbo-16k并未开放给我们使用而且你传输的字节越多花钱也越多Text

Model文本模型在ChatGPT出来之前大家都使用这种模型的API来调用GPT-3文本模型的代表作是text-davinci-003基于GPT3。

而在这个模型家族中也有专门训练出来做文本嵌入的text-embedding-ada-002也有专门做相似度比较的模型如text-similarity-curie-001。

2、配置key

OpenAI库就会查看名为OPENAI_API_KEY的环境变量并使用它的值作为API密钥。

也可以像下面这样先导入OpenAI库然后指定api_key的值。

import

当然这种把Key直接放在代码里面的方法最不可取因为你一不小心共享了代码密钥就被别人看到了他就可以使用你的GPT-4资源所以建议你给自己的OpenAI账户设个上限比如每月10美元啥的。

所以更好的方法是在操作系统中定义环境变量比如在Linux系统的命令行中使用

export

或者你也可以考虑把环境变量保存在.env文件中使用python-dotenv库从文件中读取它这样也可以降低API密钥暴露在代码中的风险。

3、OpenAi

openai.Completion.create(modeltext-davinci-003,temperature0.5,max_tokens1024,prompt给我一个关于努力学习的四字成语)print(response.choices[0].text)输出的结果

勤奋学习(2)

openai.ChatCompletion.create(modelgpt-3.5-turbo,messages[{role:

system,

给我倒杯水},],temperature0.8,max_tokens60

print(response[choices][0][message][content])

好的我给你倒杯水。

请稍等片刻4、Text模型跟Chat模型优缺点

Chat模型和Text模型都有各自的优点其适用性取决于具体的应用场景。

相较于Text模型Chat模型的设计更适合处理对话或者多轮次交互的情况。

这是因为它可以接受一个消息列表作为输入而不仅仅是一个字符串。

这个消息列表可以包含system、user和assistant的历史信息从而在处理交互式对话时提供更多的上下文信息。

对话历史的管理通过使用Chat模型你可以更方便地管理对话的历史并在需要时向模型提供这些历史信息。

例如你可以将过去的用户输入和模型的回复都包含在消息列表中这样模型在生成新的回复时就可以考虑到这些历史信息。

角色模拟通过system角色你可以设定对话的背景给模型提供额外的指导信息从而更好地控制输出的结果。

当然在Text模型中你在提示中也可以为AI设定角色作为输入的一部分。

然而对于简单的单轮文本生成任务使用Text模型可能会更简单、更直接。

例如如果你只需要模型根据一个简单的提示生成一段文本那么Text模型可能更适合。

从上面的结果看Chat模型给我们输出的文本更完善是一句完整的话而Text模型输出的是几个名字。

这是因为ChatGPT经过了对齐基于人类反馈的强化学习输出的答案更像是真实聊天场景。

对OpenAI的API调用理解到这个程度就可以了。

毕竟我们主要是通过LangChain这个高级封装的框架来访问Open

5、langchain案例

OpenAI(modeltext-davinci-003,temperature0.8,max_tokens1024,

response

ChatOpenAI(modelgpt-4,temperature0.8,max_tokens60)

from

[SystemMessage(content你是一个成语接龙高手),HumanMessage(content好好学习)

response