配置密钥1.3

AI夏令营第二期开始啦去年有幸参与过第一期收获很多这次也立马参与了第二期这一期主要是关于大模型微调实战的之前一直想接触大模型但是忙于毕业一直没有行动抓住这次机会行动起来

在当今数字化时代企业积累了丰富的对话数据这些数据不仅是客户与企业之间交流的记录更是隐藏着宝贵信息的宝库。

在这个背景下群聊对话分角色要素提取成为了企业营销和服务的一项重要策略。

群聊对话分角色要素提取的理念是基于企业对话数据的深度分析和挖掘。

通过对群聊对话数据进行分析企业可以更好地理解客户的需求、兴趣和行为模式从而精准地把握客户的需求和心理提供更加个性化和优质的服务。

这不仅有助于企业更好地满足客户的需求提升客户满意度还可以为企业带来更多的商业价值和竞争优势。

群聊对话分角色要素提取的研究将企业对话数据转化为可用的信息和智能的洞察为企业营销和服务提供了新的思路和方法。

通过挖掘对话数据中隐藏的客户行为特征和趋势企业可以更加精准地进行客户定位、推广营销和产品服务实现营销效果的最大化和客户价值的最大化。

这将为企业带来更广阔的发展空间和更持续的竞争优势。

相关链接

本项目是基于windows环境pycharm编译器星火认知大模型Spark3.5

Max首先安装软件包

https://pypi.tuna.tsinghua.edu.cn/simple

spark_ai_python如果清华源版本不可用,请使用一下命令升级到最新版本:

pip

https://repo.model.xfyun.cn/api/packages/administrator/pypi/simple

spark_ai_python

这里密钥从讯飞开发者平台申请Datawhale还帮我们申请了200w的token随便花

from

Max的URL值其他版本大模型URL值请前往文档https://www.xfyun.cn/doc/spark/Web.html查看

SPARKAI_URL

wss://spark-api.xf-yun.com/v3.5/chat

#星火认知大模型调用秘钥信息请前往讯飞开放平台控制台https://console.xfyun.cn/services/bm35查看

SPARKAI_APP_ID

Max的domain值其他版本大模型domain值请前往文档https://www.xfyun.cn/doc/spark/Web.html查看

SPARKAI_DOMAIN

baseline提供了一个函数用于测试环境以及API是否配置合理直接运行即可

def

[ChatMessage(roleuser,contenttext)]spark

ChatSparkLLM(spark_api_urlSPARKAI_URL,spark_app_idSPARKAI_APP_ID,spark_api_keySPARKAI_API_KEY,spark_api_secretSPARKAI_API_SECRET,spark_llm_domainSPARKAI_DOMAIN,streamingFalse,)handler

ChunkPrintHandler()a

注意这里要添加一个print函数注意相较于baseline最后一行添加了print函数因为百度在线平台会直接打印以及输出图片。

直接调用了ChatMessage()用于获取用户输入的字符串其中role参数system用于设置对话背景user表示是用户的问题assistant表示AI的回复。

content是用户和AI的对话内容。

ChatSparkLLM()构造了星火模型其中streaming参数指的是采用一次性返回结果非流式还是采用流式返回结果。

这里简单测试采用False。

解决问题

read_json(json_file_path):读取json文件with

open(json_file_path,

read_json(dataset/test_data.json)这里就是很普通的实现了Json文件的读取函数和写入函数。

注意win环境下在读取和写入的时候要添加,

encodingutf-8否则会读取失败。

在许多中文Windows系统中默认编码是gbk而不是utf-8。

2.2

你将获得一段群聊对话记录。

你的任务是根据给定的表单格式从对话记录中提取结构化信息。

在提取信息时请确保它与类型信息完全匹配不要添加任何没有出现在下面模式中的属性。

表单格式如下

info:

客户当前的购买阶段如合同中、方案交流等。

下一步跟进计划-参与人:

string[]

)请分析以下群聊对话记录并根据上述格式提取信息**对话记录**{content}

姓名,基本信息-手机号码:

messagesuper().__init__(self.message)def

convert_all_json_in_text_to_dict(text):提取LLM输出文本中的json字符串dicts,

stack

stack:dicts.append(json.loads(text[begin:i1]))return

dicts#

print_json_format(data):格式化输出json格式print(json.dumps(data,

indent4,

check_and_complete_json_format(data):required_keys

{基本信息-姓名:

这是一个自定义异常类继承自Python内置的Exception类。

当遇到JSON格式错误时这个异常会被抛出。

它接收一个消息参数并将其存储在message属性中。

convert_all_json_in_text_to_dict

这个函数接受一个字符串参数text然后扫描这个字符串寻找JSON对象并将它们转换为Python字典。

它使用一个栈来处理嵌套的JSON对象并只在找到匹配的括号对时才尝试解析JSON。

print_json_format

这个函数接受一个Python字典data作为参数并将其转换为格式化的JSON字符串然后打印出来。

它使用json.dumps函数来实现这个转换其中indent4用于美化输出ensure_asciiFalse允许打印非ASCII字符。

check_and_complete_json_format

这个函数用于检查一个列表中的每个字典是否包含一组特定的键并且这些键对应的值的类型也是正确的。

2.3

tqdm(enumerate(test_data)):index

1is_success

get_completions(PROMPT_EXTRACT.format(contentdata[chat_text]))infos

convert_all_json_in_text_to_dict(res)infos

check_and_complete_json_format(infos)result.append({infos:

infos,index:

配置好虚拟环境下载两个json文件到dataset文件夹下即可直接使用。

author:

Max的URL值其他版本大模型URL值请前往文档https://www.xfyun.cn/doc/spark/Web.html查看

SPARKAI_URL

wss://spark-api.xf-yun.com/v3.5/chat

星火认知大模型调用秘钥信息请前往讯飞开放平台控制台https://console.xfyun.cn/services/bm35查看

SPARKAI_APP_ID

Max的domain值其他版本大模型domain值请前往文档https://www.xfyun.cn/doc/spark/Web.html查看

SPARKAI_DOMAIN

[ChatMessage(roleuser,contenttext)]spark

ChatSparkLLM(spark_api_urlSPARKAI_URL,spark_app_idSPARKAI_APP_ID,spark_api_keySPARKAI_API_KEY,spark_api_secretSPARKAI_API_SECRET,spark_llm_domainSPARKAI_DOMAIN,streamingFalse,)handler

ChunkPrintHandler()a

read_json(json_file_path):读取json文件with

open(json_file_path,

read_json(dataset/test_data.json)#

prompt

你将获得一段群聊对话记录。

你的任务是根据给定的表单格式从对话记录中提取结构化信息。

在提取信息时请确保它与类型信息完全匹配不要添加任何没有出现在下面模式中的属性。

表单格式如下

info:

客户当前的购买阶段如合同中、方案交流等。

下一步跟进计划-参与人:

string[]

)请分析以下群聊对话记录并根据上述格式提取信息**对话记录**{content}

姓名,基本信息-手机号码:

messagesuper().__init__(self.message)def

convert_all_json_in_text_to_dict(text):提取LLM输出文本中的json字符串dicts,

stack

stack:dicts.append(json.loads(text[begin:i1]))return

dicts#

print_json_format(data):格式化输出json格式print(json.dumps(data,

indent4,

check_and_complete_json_format(data):required_keys

{基本信息-姓名:

tqdm(enumerate(test_data)):index

1is_success

get_completions(PROMPT_EXTRACT.format(contentdata[chat_text]))infos

convert_all_json_in_text_to_dict(res)infos

check_and_complete_json_format(infos)result.append({infos:

infos,index:

indexerror_data.append(data)write_json(output.json,

result)