Products
96SEO 2026-02-20 07:17 11
向大型语言模型LLM发送的提示长度越短推理速度就会越快成本也会越低。
因此提示压缩已经成为LLM研究的热门领域。
在最新的一篇论文中清华大学和微软的研究人员介绍了一种新的与任务无关的提示压缩技术——LLMLingua-2。
LLMLingua-2比其他提示压缩方法更快、更高效且需要的计算资源更少。
对于涉及冗长提示的LLM应用来说它可以成为一个很好的工具压缩可以节省大量成本并改善用户体验。
诸如思维链CoT推理、上下文学习和检索增强生成RAG等技术使LLM能够处理复杂的任务和未在训练数据中包含的知识。
然而冗长提示的好处是以增加计算和财务需求为代价的。
在某些LLM中更长的提示可能会降低模型处理上下文信息的能力的准确性。
提示压缩通过缩短原始文本同时保留必要信息来解决这些问题。
提示压缩的基本假设是自然语言包含冗余这些冗余对人类理解可能有用但对LLM来说则不必要。
提示压缩可以分为“任务相关”和“任务无关”两种方法。
任务相关的压缩方法会根据下游任务或当前查询来移除提示中的令牌。
一种流行的方法是LongLLMLingua它采用一种问题相关的多步骤方法估计令牌的信息熵并移除冗余部分。
其他方法使用强化学习来训练一个模型基于下游任务提供的奖励信号来压缩提示。
任务相关压缩方法的权衡之处在于它们在其他任务上的泛化能力有限。
另一方面任务无关的方法在压缩提示时不考虑具体任务使其更适用于更广泛的应用和黑盒LLM。
一些任务无关的方法包括LLMLingua和Selective-Context。
这些方法使用因果小型语言模型SLM如Llama-7B来评估令牌或词汇单元的信息熵并移除那些不增加有意义信息的部分。
LLMLingua-2是由原始LLMLingua的作者开发的是一种任务无关的提示压缩技术。
当前的任务无关压缩方法存在一些局限性这促使研究人员创建了LLMLingua的继任者。
“信息熵可能是一个次优的压缩指标因为一它与提示压缩目标不一致二它只利用单向上下文可能无法捕获提示压缩所需的所有必要信息。
”微软高级研究员、论文合著者钱慧武Qianhui
LLMLingua-2将提示压缩重新定义为分类任务即确定每个令牌是否应该保留或丢弃。
它利用这种任务定义来创建提示压缩训练数据集。
然后它使用数据集来训练一个用于压缩任务的轻量级双向转换器编码器模型。
“通过这种方式它可以从完整的双向上下文中捕获提示压缩所需的所有必要信息并保证压缩后的提示与原始提示保持一致。
”
LLMLingua-2具有几个关键优势。
首先使用双向编码器可以确保捕获提示压缩所需的所有必要信息。
其次由于它使用较小的转换器模型来学习压缩目标因此具有显著较低的延迟。
第三它的设计旨在保持对原始提示的忠实度避免幻觉。
为了生成用于训练提示压缩模型的数据集研究人员使用数据蒸馏程序从强大的LLM中提取知识。
他们向GPT-4提供提示并指示它在保留必要信息并避免幻觉的同时减少令牌。
在获得原始文本及其压缩版本的配对后他们为每个原始文本中的令牌分配一个二进制标签以确定在压缩后是否应保留或丢弃它。
研究人员使用MeetingBank数据集创建了训练示例。
然后他们在数据集上训练了xlm-roberta-large和multilingual-BERT转换器模型的略微修改版本以将令牌分类为“保留”或“丢弃”。
基于BERT的模型的优势在于它们学习双向特征而不是仅具有先前令牌知识的自回归解码器模型。
这允许压缩模型学习更丰富的相关性从而实现更好的压缩。
“在推理过程中我们根据分类模型计算的概率来确定是否保留或丢弃原始提示中的每个令牌。
”研究人员写道。
研究人员在MeetingBank数据集以及几个领域外数据集如LongBench、ZeroScrolls、GSM8K和Big
Hard上测试了压缩模型。
他们使用GPT-3.5-Turbo作为目标模型。
但压缩模型也可以与前沿模型如GPT-4和Claude
3一起使用。
他们还将LLMLingua-2的压缩、速度和准确性与其他方法以及原始提示进行了比较。
他们的研究结果表明尽管LLMLingua-2的体积较小但其压缩性能优于其他任务无关基线并从GPT-3.5-Turbo到Mistral-7B具有良好的泛化能力。
LLM-Lingua-2实现了2-5倍的压缩率比现有的提示压缩方法快3-6倍。
这意味着当用于需要长系统和上下文提示的应用程序时它可以节省大量成本。
LLMLingua-2还将延迟降低了1.6-2.9倍并可将GPU内存成本降低8倍。
有趣的是当使用Mistral-7B作为目标LLM时研究人员发现LLMLingua-2的性能甚至优于原始提示。
“我们推测Mistral-7B可能在管理长上下文方面不如GPT-3.5-Turbo擅长。
我们的方法通过提供具有更高信息密度的较短提示有效地提高了Mistral-7B的最终推理性能。
”研究人员在论文中写道。
“LLMLingua-2是一种与任务无关的提示压缩方法。
”吴说。
“这意味着每当您遇到过长的上下文时都可以使用LLMLingua-2将其压缩为较短的上下文以适应有限的上下文窗口减少财务成本因为OpenAI根据令牌向用户收费并减少LLM的推理时间。
”
然而与LongLLMlingua等任务感知压缩方法相比LLMLingua-2在特定任务上表现不佳。
“我们将这种性能差距归因于[任务感知方法]从问题中获取的额外信息。
”研究人员写道。
“但是我们的模型的与任务无关特性使其成为一种高效且具有良好泛化能力的选择可以部署到不同场景中。
”
作为专业的SEO优化服务提供商，我们致力于通过科学、系统的搜索引擎优化策略，帮助企业在百度、Google等搜索引擎中获得更高的排名和流量。我们的服务涵盖网站结构优化、内容优化、技术SEO和链接建设等多个维度。
| 服务项目 | 基础套餐 | 标准套餐 | 高级定制 |
|---|---|---|---|
| 关键词优化数量 | 10-20个核心词 | 30-50个核心词+长尾词 | 80-150个全方位覆盖 |
| 内容优化 | 基础页面优化 | 全站内容优化+每月5篇原创 | 个性化内容策略+每月15篇原创 |
| 技术SEO | 基本技术检查 | 全面技术优化+移动适配 | 深度技术重构+性能优化 |
| 外链建设 | 每月5-10条 | 每月20-30条高质量外链 | 每月50+条多渠道外链 |
| 数据报告 | 月度基础报告 | 双周详细报告+分析 | 每周深度报告+策略调整 |
| 效果保障 | 3-6个月见效 | 2-4个月见效 | 1-3个月快速见效 |
我们的SEO优化服务遵循科学严谨的流程，确保每一步都基于数据分析和行业最佳实践：
全面检测网站技术问题、内容质量、竞争对手情况，制定个性化优化方案。
基于用户搜索意图和商业目标，制定全面的关键词矩阵和布局策略。
解决网站技术问题，优化网站结构，提升页面速度和移动端体验。
创作高质量原创内容，优化现有页面，建立内容更新机制。
获取高质量外部链接，建立品牌在线影响力，提升网站权威度。
持续监控排名、流量和转化数据，根据效果调整优化策略。
基于我们服务的客户数据统计，平均优化效果如下：
我们坚信，真正的SEO优化不仅仅是追求排名，而是通过提供优质内容、优化用户体验、建立网站权威，最终实现可持续的业务增长。我们的目标是与客户建立长期合作关系，共同成长。
Demand feedback
