Token Diet 是一个始终在线的令牌效率优化工具，专为Claude Code、Codex、Cursor等AI编码助手设计，平均降低约31%的API调用成本且不影响代码正确性。

一、项目背景与痛点

在AI辅助编程日益普及的今天，越来越多的开发者依赖Claude Code、GitHub Codex、Cursor、Windsurf、Cline等智能编码助手来加速开发。然而，这些工具背后的LLM（大语言模型）调用是按令牌（Token）计费的——每次请求、每段上下文、每轮对话，都在消耗真金白银。

对于重度用户而言，月账单轻松突破数百甚至上千美元。更令人困扰的是，许多调用中包含了大量冗余信息：重复的导入语句、过长的注释、不必要的格式化空格、甚至是历史对话中积累的无效上下文。这些“令牌脂肪”不仅推高了成本，还降低了模型响应的速度和质量。

Token Diet 正是为解决这一痛点而生。它不是一个需要手动干预的插件，也不是一个事后分析工具，而是一个始终在线的代理层，在AI编码助手与LLM API之间实时过滤、压缩和优化令牌流。

二、安装与使用

2.1 安装要求

• 支持的操作系统：macOS、Linux、Windows（WSL）
• 依赖：Shell环境（Bash 4.0+）、curl、jq（可选，用于增强输出）
• 支持的AI工具：Claude Code、Codex CLI、Cursor、Windsurf、Cline

2.2 快速安装

bash

克隆仓库

git clone https://github.com/Kulaxyz/token-diet.git
cd token-diet

运行安装脚本（自动配置环境变量和别名）

chmod +x install.sh
./install.sh

或者直接使用单行命令（推荐）

curl -fsSL https://raw.githubusercontent.com/Kulaxyz/token-diet/main/install.sh | bash

2.3 基本使用

安装完成后，Token Diet 会自动创建别名或环境变量，将AI编码助手的请求重定向到其优化层。无需额外配置即可生效。

bash

正常使用Claude Code，Token Diet在后台自动工作

claude code

或使用Codex CLI

codex --prompt "实现一个二分查找算法"

2.4 高级配置

你可以通过环境变量自定义优化策略：

bash

设置令牌压缩级别（1-10，默认5）

export TOKEN_DIET_COMPRESSION=7

启用/禁用特定优化规则

export TOKEN_DIET_STRIP_COMMENTS=true
export TOKEN_DIET_MINIFY_IMPORTS=true
export TOKEN_DIET_DEDUP_CONTEXT=true

查看实时节省统计

export TOKEN_DIET_VERBOSE=true

2.5 代码示例：手动调用优化

你也可以直接使用token-diet命令行工具处理任意文本：

bash

优化一段提示词

echo "请帮我写一个Python函数，用于计算斐波那契数列。注意：需要处理边界情况。另外，请确保代码符合PEP8规范。" | token-diet

输出：

写Python函数计算斐波那契数列，处理边界情况，符合PEP8

三、核心亮点与技术原理

3.1 多层令牌优化引擎

Token Diet 并非简单地截断文本，而是采用多层优化策略：

1. 语义压缩层：识别并移除重复的上下文片段（如重复的导入语句、重复的函数定义）
2. 结构精简层：压缩代码注释、移除不必要的空白行、合并相邻的import语句
3. 上下文去重层：在对话历史中检测并消除冗余的对话轮次，保留关键信息
4. 格式归一化层：将Markdown、JSON、YAML等格式标准化，减少冗余字符

3.2 零侵入式设计

• 无需修改AI工具代码：通过环境变量劫持或代理方式工作
• 实时生效：每次API调用前完成优化，延迟增加小于5ms
• 可逆操作：优化过程保留原始语义，不会导致代码逻辑错误

3.3 实测效果

根据项目README中的基准测试数据：

场景	原始令牌数	优化后令牌数	节省比例
代码生成（含大量注释）	12,450	8,210	34.1%
代码审查（含历史上下文）	28,300	19,100	32.5%
多轮对话调试	45,800	32,100	29.9%
文档生成	6,700	4,900	26.9%
综合平均	-	-	31.2%

所有测试均未出现代码正确性下降（通过自动化测试套件验证）。

四、适用场景

4.1 个人开发者

• 重度使用AI编码助手的独立开发者，月均API费用$50-$500
• 希望在不牺牲质量的前提下降低开发成本

4.2 小型团队

• 团队共享API Key，按用量分摊成本
• 希望为每个成员启用统一的令牌优化策略
• 需要监控和统计令牌使用情况

4.3 企业级部署

• 在CI/CD流水线中集成AI代码审查工具
• 大规模使用Codex或Claude Code进行代码生成
• 需要合规审计（Token Diet 不存储任何数据）

五、同类项目对比

特性	Token Diet	TokenSaver	LLM Optimizer	手动优化
始终在线	✅	❌（需手动触发）	✅	❌
平均节省	~31%	~20%	~25%	因人而异
正确性保障	✅（已验证）	部分场景有偏差	未明确	❌
安装复杂度	低（一键安装）	中（需配置）	高（依赖Python）	无
支持的AI工具	5种	2种	3种	通用
开源许可	MIT	Apache 2.0	GPL 3.0	-
社区活跃度	活跃（437 Stars）	较低	中等	-

Token Diet 的主要优势：

• 支持最广泛的AI编码助手生态
• 安装最简单，零配置即可生效
• 在保证正确性的前提下，节省比例最高
• 开源且轻量（纯Shell实现，无外部依赖）

潜在不足：

• 仅针对编码场景优化（不适合通用Chat对话）
• 对非英语提示词的优化效果可能略低于英语
• 极端情况下（如代码中缺少换行符）可能过度压缩

六、技术架构与实现细节

Token Diet 的核心是一个Shell脚本集合，通过以下机制工作：

1. 环境变量劫持：设置CLAUDE_CODE_OPTIONS、CODEX_OPTIONS等环境变量，让AI工具在发送请求前调用token-diet预处理
2. 正则表达式引擎：使用POSIX扩展正则表达式进行文本分析，避免引入外部解析器
3. 流式处理：支持管道操作，可以嵌入到任何Shell工作流中
4. 配置持久化：将用户偏好写入~/.token-diet/config，支持多会话共享

bash

核心工作流（简化）

function token_diet_process() {
local input="$(cat)"
# 1. 移除代码注释（可选）
[[ "$TOKEN_DIET_STRIP_COMMENTS" == "true" ]] && input="$(strip_comments "$input")"
# 2. 压缩导入语句
[[ "$TOKEN_DIET_MINIFY_IMPORTS" == "true" ]] && input="$(minify_imports "$input")"
# 3. 去重上下文
[[ "$TOKEN_DIET_DEDUP_CONTEXT" == "true" ]] && input="$(dedup_context "$input")"
# 4. 输出优化结果
echo "$input"
}

七、社区与未来展望

Token Diet 目前处于活跃开发阶段，项目作者Kulaxyz正在计划以下功能：

• 插件系统：允许用户编写自定义优化规则
• GUI控制面板：可视化查看令牌节省统计
• 多语言支持：优化对中文、日文等非拉丁语系的支持
• 与主流IDE集成：VSCode、JetBrains插件形式

截止2025年4月，该项目已获得437颗Stars，社区贡献者超过20人，Issue响应时间通常在24小时内。

八、总结

Token Diet 是一个小而精的工具，它解决了一个具体且迫切的问题——AI编码助手的令牌成本。它不像某些大型框架那样追求功能全面，而是在单一维度上做到了极致：在不牺牲代码质量的前提下，最大化令牌效率。

对于任何重度使用AI编码助手的开发者或团队，Token Diet 都是一个值得立即尝试的工具。31%的成本节省意味着每年可能省下数百到数千美元，而安装只需要一条命令。

项目链接：https://github.com/Kulaxyz/token-diet