Token Diet 是一个面向编码AI代理（Claude Code、Codex、Cursor、Windsurf、Cline）的始终在线、零配置的Token效率优化工具，平均可降低约31%的API账单，且不影响代码正确性。

一、痛点：编码AI的Token“肥胖症”

如果你频繁使用Claude Code、Codex、Cursor等AI编码助手，你一定经历过这样的场景：

• 一个简单的代码补全请求，AI却把整个项目的上下文都塞进了对话历史
• 每次修改后，AI重新输出整个文件的完整内容，即便只改动了一行
• 工具调用、系统提示、函数定义等元数据占据了大量Token，而真正有价值的代码改动只占一小部分

结果就是：API账单飞速上涨，但实际效率提升有限。尤其对于重度用户（每天数千次调用），Token浪费可能占到总消耗的30%-50%。

Token Diet正是为了解决这个问题而生——它通过对AI代理生成的输出进行智能压缩和精简，在保持代码正确性的前提下，大幅减少Token消耗。

二、安装与使用：真正的“零配置”

Token Diet的安装极其简单，无需修改任何现有工作流。

安装方式（以Claude Code为例）

bash

方式一：通过npm全局安装

npm install -g @kulaxyz/token-diet

方式二：直接克隆仓库

gh repo clone Kulaxyz/token-diet
cd token-diet
chmod +x token-diet.sh

集成到Claude Code

bash

在Claude Code配置中启用

claude config set --global tokenDiet.enabled true

集成到Cursor/Windsurf

在Cursor的settings.json中添加：

{
"token-diet.enabled": true,
"token-diet.aggressiveness": "medium"
}

命令行使用

bash

对单次AI输出进行优化

token-diet --input response.json --output optimized.json

实时监控模式（推荐）

token-diet --monitor --target claude-code

安装后，Token Diet会自动拦截AI代理的输入输出流，在发送到API之前进行优化。整个过程对用户完全透明。

三、核心工作原理：智能压缩而非暴力删减

Token Diet并非简单截断文本，而是采用了一套多层压缩策略：

1. 冗余代码消除

AI经常在连续对话中重复输出相同的代码块（如import语句、类型定义）。Token Diet会检测这些重复并替换为引用标记。

示例：

python

原始输出（每次对话都重复）

from typing import List, Optional, Dict, Any
import os
import sys
import json

def process_data(data: List[Dict[str, Any]]) -> Optional[Dict[str, Any]]:
...

Token Diet优化后

[REF:imports_common]
def process_data(data: [REF:Type_ListDict]) -> [REF:Type_OptionalDict]:
...

2. 上下文感知的截断

对于AI生成的解释性文本，Token Diet会保留关键信息，去除冗长的描述。它使用一个轻量级的本地NLP模型来判断哪些内容对代码逻辑至关重要。

3. 工具调用元数据压缩

AI代理的每次工具调用（如文件读写、搜索）都会附带大量元数据。Token Diet将这些元数据压缩为紧凑格式，减少50%-70%的元数据Token。

4. 增量更新优化

对于代码修改场景，Token Diet不再让AI输出整个文件，而是只输出diff格式，然后在客户端重建完整文件。

四、性能实测：31%的节省从何而来

项目作者在多个场景下进行了基准测试：

场景	原始Token数	优化后Token数	节省比例	正确性影响
代码补全（小型函数）	2,847	1,962	31.1%	无
代码审查（中等项目）	12,430	8,214	33.9%	无
重构（大型文件）	28,156	19,873	29.4%	无
多轮对话（10轮）	89,234	61,124	31.5%	无

关键发现： 无论代码语言（Python、JavaScript、Rust、Go）、项目规模还是AI代理类型，Token Diet都能稳定提供约31%的Token节省，且没有观察到任何正确性损失。

五、与同类项目的对比

特性	Token Diet	其他Token优化工具（如GPT-Tokenizer、TokenSavvy）
安装复杂度	零配置，即装即用	通常需要手动集成到pipeline
支持AI代理类型	Claude Code、Codex、Cursor、Windsurf、Cline	通常只支持OpenAI API
压缩策略	多层智能压缩（代码、元数据、上下文）	多为简单的文本截断
正确性保证	经过大规模测试，无正确性损失	部分工具可能导致代码错误
实时性	支持实时监控模式	多为后处理模式
开源许可	MIT	多为AGPL或商业许可
社区活跃度	287 Stars，持续更新	多数已停止维护

Token Diet的独特优势：

1. AI代理原生支持：不是通用Token优化器，而是专门为编码AI代理设计
2. 透明性：用户无需改变任何使用习惯
3. 安全性：所有优化都在本地完成，不会泄露代码

六、适用场景

最佳场景

• 重度AI编码用户：每天调用AI代理超过100次的开发者
• 团队协作：多个开发者共享API配额，需要控制成本
• 大型项目：代码库超过10万行，AI频繁加载整个上下文
• CI/CD集成：在自动化流水线中使用AI代理进行代码审查

不适用场景

• 一次性使用：偶尔用一次AI编码助手，Token节省不明显
• 对API成本不敏感：个人开发者、免费额度充足的情况
• 需要完整AI输出日志：压缩后的输出可能丢失部分解释性内容

七、技术架构与扩展性

Token Diet的核心是一个Shell脚本，但它的设计非常模块化：

token-diet/
├── token-diet.sh # 主入口脚本
├── compressors/
│ ├── code-dedup.sh # 代码去重
│ ├── meta-minify.sh # 元数据压缩
│ └── context-trim.sh # 上下文修剪
├── adapters/
│ ├── claude-adapter.sh
│ ├── codex-adapter.sh
│ └── cursor-adapter.sh
├── tests/
│ └── benchmark.sh # 基准测试套件
└── config/
└── profiles/ # 不同场景的配置方案

这种架构使得社区可以轻松添加对新AI代理的支持，或开发自定义压缩策略。

八、未来展望

项目路线图中包含：

1. 自适应压缩率：根据当前API响应时间动态调整压缩强度
2. 代码语义保留：更精确地识别哪些注释和文档字符串对理解代码至关重要
3. 多模型支持：扩展到Gemini、Mistral等更多AI模型
4. 企业版功能：集中管理、审计日志、团队配额监控

九、总结

Token Diet是目前为止我看到的最实用的AI编码代理Token优化工具。它的优势不在于复杂的算法，而在于精准地理解了编码AI代理的工作模式，并针对性地解决了Token浪费的核心问题。

对于任何每月在AI编码工具上花费超过50美元的开发者或团队，Token Diet几乎可以立即收回安装成本。31%的Token节省意味着同样的预算可以多完成近三分之一的编码工作。

如果你正在使用Claude Code、Codex、Cursor等AI编码代理，并且对API账单有所顾虑，Token Diet是一个值得立即尝试的工具。

项目链接： Kulaxyz/token-diet