在 Headroom 中，三大压缩器承担了最关键的任务：SmartCrusher 处理结构化 JSON 数组、CodeAwareCompressor 负责源代码、Kompress 则是万能文本压缩。下面按顺序拆解它们，并给出你在实际使用时可能遇到的问题与对应解决思路。

SmartCrusher：统计式压缩 JSON 数组

痛点一：数组过长导致 token 超标

• API 返回的大量记录往往只有首尾几条有价值，中间重复度高。
• 直接送模型会消耗大量 token，影响响应速度。

pub struct FieldStats { …}

工作流程：

• 分析阶段: 把所有字段合并统计 FieldStats
• 类型识别: 根据时间戳/数值方差/高基数文本判断是 time_series / logs / search_results / generic
• 策略选择: 依据类型和阈值决定是否压缩及采用何种策略
• 保留下标挑选: 结合搜索相关性、异常检测、聚类等多路信号构造最终保留列表，并加入必备字段与摘要区间。
• CGR 标记生成: 对被丢弃行生成可逆标记

痛点二：压缩后保留信息不完整？

• CGR 标记让模型可以随时取回被丢弃的行；若想直接去除哨兵，可调用 strip_ccr_sentinels.
• CGR 需要本地缓存。首次压缩会下载缓存文件，

CGR 示例

CodeAwareCompressor：AST 感知代码压缩

痛点三：代码截断导致语法错误或逻辑缺失

• `tree-sitter` 解析保证任何截断都是完整语句；若出现 ERROR 或 MISSING 节点会退回原文。
• `over_compression_threshold` 防止只剩 token 少于 30% 的情况。
• `exception_guard` 捕获运行时异常并退回原文或交给 Kompress。

A) 配置表

@dataclass
class LangConfig:
import_nodes: frozenset
function_nodes: frozenset
class_nodes: frozenset
type_nodes: frozenset
body_node_types: frozenset
comment_prefix: str
uses_colon_after_signature: bool
…

A) 函数体抽取：

# 按 AST 语句逐条保留
for stmt in body_stmts:
stmt_lines = code_lines
if kept_line_count + len> body_limit and stmts_kept>0:
break
kept_lines.extend
…

B) 行预算分配：

• `_analyze_symbol_importance` 根据引用次数、调用扇出、公开性和查询上下文评分。
• MOST关键函数获得更多行，其余仅保留签名。
• `docstring` 默认仅保留第一行摘要，后续全部删掉以节省 token。

Coding 示例—前后对比

# 原始
def process_data:
"""Process a list of items.
Each item is validated...
..."""
results =
for item in items:
if not item:
continue
processed = item.strip.lower
results.append
return results
# 压缩后
def process_data:
"""Process a list of items."""
# ...
pass
…

Kompress：双头 ModernBERT 文本压缩模型

痛点四：无结构文本无法用规则裁剪，高质量保持关键信息难度大。说起来，

• `Kompress` 用 token‑级判定层 + span‑级卷积双头决策。避免误删边界词汇，
• `must_keep_re` 强制保留数字、错误码、方法等必需 token，即使得分低也不会被丢弃。
• CGR 与 `headroom_retrieve` 一起实现可逆取回机制。首次使用会下载模型权重，占用内存约 300MB.

LSTM‑Free Token 判定逻辑示例

# Token head 输出两维 score
token_keep =
# Span head 对窗口进行二次打分
span_score = self.span_conv.squeeze
# 最终 keep 判断：
keep = token_keep | && )
…其实，

Percision Rules Example

/\b0x+\b|\d+?|{5,}|*\.+|\/+|--?*/
，

其他辅助压缩器

LogCompressor: 去除重复 INFO 行，只留下报错和关键状态；
DiffCompressor: 折叠 git diff 上下文，仅保留变更骨架；
SearchCompressor: 聚合 grep 输出文件块，剔除冗余文本；
TextCrusher: BM25 排序+近似重复过滤，大段纯文本秒级完成；
HTMLExtractor: 抽取网页正文，去除导航/脚本/页脚噪音。

小结与接下来行动计划" id=summary/>

- SmartCrusher 能把 JSON 列表中相同模板的数据压到%30以下**;

- CodeAwareCompressor 保证代码始终合法，只切语句而非字符;

- Kompress 在没有明确结构时提供最优 token 层级裁剪，并通过 CCR 实现可逆取回;

- 若面对特定格式，可以直接使用对应轻量规则压器较快完成;

- 所有压缩器共享同一 ContentRouter 路由机制与 CCR 缓存，让模型无论何时都能还原完整信息。其实，

想了解如何在自己的代理程序里部署 Headroom 或配置 CCR。请继续关注后续文章，