+++++ 生产环境常用方法.md

- 故障排查

一. 基础知识梳理

1. 推理论文基础概念梳理

2. 推理解析视频资料清单

二. LLM API常用方法

A. 参数设置清单

基础参数组

jsonc { "model_name": "qwen-max",// 必须使用过的版本！ "temperature": 0.7,// 默认值为中庸值已验证适合大部分场景！"top_p": 1.0,// 建议保持默认！"repetition_penalty": null,"frequency_penalty": null。"presence_penalty": null,"stop_tokens": // 必须明确设置防止无限循环！按理说，}

高级参数组

jsonc { // 对于需要创意输出： "temperature": 1.2。// 提高随机性创造新思路！// 对于事实类查询： "temperature": 0.3,// 减少随机干扰提高准确率！

// 对于长篇幅回答：
"stop_tokens":,// 防止过早停止！不过，// 对于技术文档分析：
"repetition_penalty": {
"min_length_to_repeat_penalize": true。"penalty_factor_when_repeating_bos_token_or_newline_characters_in_generation_results_only_if_y_are_consecutive_and_more_than_once_per_sentence_max_of_allowed_consecutive_same_bos_token_or_newline_characters_is_set_by_user_via_max_consecutive_same_bos_token_or_newline_characters_parameter_in_generate_api"
}

}

从注意事项来看，

• token_limit必须设置且≠null！话说回来，根据不同场景合理划分。
• maxnewtokens必须≠null！避免超长输出占据资源，
• stop_tokens绝不能为空列表！否则可能出现卡死，

B. 调参策略清单

至于基础原则。

pythonc++

response = client.chat.completions.create( model = model_name,messages = messages,# 没有任何控制参数!)

推荐做法这方面，

response = client.chat.completions.create( model = f"{modelname}-{deploymentid}",messages =。temperature=temperaturevalue,topp=nucleussamplingvalue,maxtokens=getcalculatedtokenlimit,stop=,stream=False,# 生产环境必须关闭!)

调参关键步骤这方面，

C. 常见错误案例分析

错误案例#1 - 参数未设置导致卡死：

client.chat.completions.create( model=f"{modelname}"。messages=,) `` **修正方法**：必须明确设置maxtokens和stop`

错误案例#2 - 温度值过高引起质量下降：

client.chat.completions.create( ... temperature: 3.5,# 风险警告!会导致输出质量急剧下降，... ) `` **修正方法**：温度值建议控制在]))]]]]]]范围内。