Face

LLM排行榜#xff08;https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard#xff09;前列。

多个基准测试表明#xff0c;就性能而言#xff0c;它正在接近GPT-3.5…

Llama

2是开源LLM发展的一个巨大里程碑。

最大模型及其经过微调的变体位居Hugging

Face

LLM排行榜https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard前列。

多个基准测试表明就性能而言它正在接近GPT-3.5在某些情况下甚至超过它。

所有这些都意味着对于从RAG系统到Agent的复杂LLM应用程序开源LLM是一种越来越可行和可靠的选择。

2模型7B参数有一个缺点是它不太擅长生成SQL因此它不适用于结构化分析示例。

例如我们尝试在给定以下提示模板的情况下提示Llama

You

在这里我们使用sqlcreatecontext数据集https://huggingface.co/datasets/b-mc2/sql-create-context的一个示例来测试一下效果

input:

这显然并不理想。

与ChatGPT和GPT-4不同原始的Llama

这正是微调的作用所在——如果有一个合适的文本到SQL数据的语料库我们可以教Llama

2更好地从自然语言生成SQL输出。

微调有不同的方法可以更新模型的所有参数比如全量微调也可以冻结大模型参数仅微调附加参数比如LoRA。

2然后使用LlamaIndex的功能对任何SQL数据库进行结构化分析。

准备工作

Face的b-mc2/sql-create-contexthttps://huggingface.co/datasets/b-mc2/sql-create-context

base模型OpenLLaMa

的open_lama_7b_v2https://github.com/openlm-research/open_llama

PS1以下代码来自doppel-bothttps://github.com/modal-labs/doppel-bot2许多Python代码都包含在src目录中3需要设置一个Modal帐户并生成token。

!pip

首先我们使用Modal加载b-mc2/sql-create-context数据集并将其格式化为.jsonl文件。

modal

network_file_systems{VOL_MOUNT_PATH.as_posix():

output_vol},

load_dataset(b-mc2/sql-create-context)​

dataset_splits

out_path.parent.mkdir(parentsTrue,

exist_okTrue)​

data[train].train_test_split(test_sizeval_set_size,

shuffleTrue,

train_val[train].shuffle().map(generate_and_tokenize_prompt)val_data

train_val[test].shuffle().map(generate_and_tokenize_prompt)

将每个拆分为元组的格式输入Prompt、标签输入query和上下文被格式化为输入Prompt然后对输入Prompt和标签进行

tokenize模型采用自回归的方法预测下一个token来进行训练。

def

generate_and_tokenize_prompt(data_point):

full_prompt

运行微调脚本时模型将保存在model_dir指定的远程云目录中如果未指定则设置为默认值。

步骤3评估微调后模型

该模型已经进行了微调可以从云端提供服务。

下面我们使用b-mc2/sql-create-context中的示例数据进行一些基本评估比较微调后模型与原始Llama

modal

我们现在可以在LlamaIndex中使用这个模型在任何数据库上进行文本到SQL。

我们首先定义一个测试SQL数据库然后可以使用该数据库来测试模型的推理能力。

我们创建了一个玩具city_stats表其中包含城市名称、人口和国家信息并用几个示例城市填充它。

db_file

create_engine(fsqlite:///{db_file})metadata_obj

MetaData()#

nullableFalse),)metadata_obj.create_all(engine)

然后我们可以使用Modal将微调后的模型和该数据库文件加载到LlamaIndex中的NLSQLTableQueryEngine中——该查询引擎允许用户轻松地开始在给定的数据库上执行文本到SQL。

modal

src.inference_sql_llamaindex::main

--query

本文提供了一种非常高级的方法来开始微调生成SQL语句的Llama

2模型并展示了如何使用LlamaIndex将其端到端插入到文本到SQL工作流中。

参考文献

https://blog.llamaindex.ai/easily-finetune-llama-2-for-your-text-to-sql-applications-ecd53640e10d

[2]

https://github.com/run-llama/modal_finetune_sql

[3]

https://github.com/run-llama/modal_finetune_sql/blob/main/tutorial.ipynb