Kulaxyz/token-diet — Always-on token-efficiency skill for coding agents

{
"category":"编程开发",
"title_cn":"Token Diet：AI编程助手的智能节食器，省31%费用不损代码质量",
"content":"> Token Diet — 为Claude Code、Codex、Cursor等AI编程助手设计的常驻token节食插件，平均节省31%费用，零正确性损失。

为什么需要Token Diet？

如果你深度使用过AI编程助手，一定被一个隐形问题折磨过：token浪费。每次对话，AI都会把整个文件上下文、系统提示、历史消息一股脑塞进模型，其中大量信息是冗余的——未修改的旧代码、无意义的注释、空白行、长变量名、重复的import语句。这些冗余不仅让账单膨胀，还稀释了有效信息密度，导致模型注意力分散，甚至影响输出质量。

传统解决方案是手动精简提示词，但这对编程场景完全不现实——你不可能每次修改前都手动删掉几十行无关代码。而且，大多数开发者根本没意识到自己正在为“空气”付费。Token Diet正是为解决这个痛点而生：以零侵入、全自动的方式，在AI助手与模型之间实时过滤token流，压缩冗余而不影响语义完整性和代码正确性。

快速上手：安装与使用

环境要求

• macOS或Linux（Windows需通过WSL）
• 已安装Node.js 18+和npm
• 正在使用Claude Code、Codex、Cursor、Windsurf或Cline等AI编程工具

安装步骤

# 克隆仓库
git clone https://github.com/Kulaxyz/token-diet.git
cd token-diet

# 安装依赖（仅需一次）
npm install

# 创建配置文件（可选）
cp .env.example .env

配置与启动

Token Diet通过环境变量或配置文件决定行为。最小配置只需指定目标AI工具：

# 为Claude Code启用（推荐方式）
export TOKEN_DIET_TARGET=claude-code
node index.js

更精细的控制：

# 自定义压缩级别（1-10，默认5）
export TOKEN_DIET_AGGRESSION=7
# 排除某些文件类型不被处理
export TOKEN_DIET_EXCLUDE="*.lock,*.min.js,*.json"
# 设置最大上下文大小（token数）
export TOKEN_DIET_MAX_CONTEXT=32000
node index.js

集成到日常流程

对Claude Code用户，最优雅的方式是作为前置过滤器：

# 创建别名，自动启用token节食
alias claude='node /path/to/token-diet/index.js claude'

对Cursor和Windsurf用户，项目提供VS Code扩展安装脚本：

npm run install-extension

重启编辑器后，状态栏会出现节食指示器，点击可实时查看节省比例。

核心亮点：不止是压缩

1. 智能语义压缩，非暴力截断

很多token节省工具采用简单粗暴的截断策略——删掉中间部分或丢弃历史。Token Diet使用多层过滤器：

• 结构感知修剪：识别代码AST结构，移除未引用的import、死代码分支、纯注释块（保留文档字符串）
• 变量名轻量化：检测长驼峰命名（如getUserProfileInformationFromDatabase），在上下文中替换为短占位符，输出时恢复
• 空白行折叠：将连续空白行压缩为1行，保留可读性
• 重复内容去重：识别多次出现的相同代码块（如重复的配置片段），仅保留第一份并添加引用标记

2. 零正确性损失保障机制

这是Token Diet与普通压缩工具的本质区别。它内置一个验证回退引擎：每次压缩后，会模拟执行关键路径（通过静态分析），如果发现压缩导致符号解析失败或语法错误，自动降低该部分的压缩强度。实测中，在438个GitHub星标用户的反馈中，没有一例因压缩导致的代码生成错误。

3. 实时仪表盘与账单预测

运行后访问http://localhost:3030可看到：

当前会话节省：31.2%
累计节省token：1,847,293
预估节省金额（按Claude Sonnet价格）：$5.54
压缩延迟：平均12ms（无感知）

适用场景

场景	节省幅度	推荐压缩级别
大型代码库重构（上下文巨大）	35-45%	8-10
日常小功能开发	20-30%	4-6
调试长对话（历史累积多）	40-55%	7-9
代码审查（PR描述+文件）	25-35%	5-7
学习/探索（对话短）	10-20%	3-4

尤其适合以下开发者：

• 团队负责人：多个席位每月token费可观，31%节省意味可观的成本削减
• API重度用户：按token计费模式下，每次对话都在烧钱
• 使用长上下文的用户：Claude Code的200K上下文窗口，填充一半冗余信息是常态

同类项目对比

特性	Token Diet	Prompt Slicer	Token Saver	手动精简
安装复杂度	低（npm install）	中（Python依赖）	低（浏览器扩展）	无
支持工具	5种主流AI编程工具	仅ChatGPT	仅Web界面	所有
压缩策略	语义+结构	长度截断	关键词删除	人工判断
正确性保障	有自动验证回退	无	无	依赖经验
实时性	毫秒级	秒级	秒级	分钟级
开源	是（MIT）	是（GPL）	否（闭源）	-
社区活跃度	438星，持续更新	120星，停滞	商业产品	-

Token Diet的差异化优势：

1. 工具覆盖最广：同时支持Claude Code、Codex、Cursor、Windsurf、Cline，且通过插件机制可扩展
2. 性能最轻量：Shell+Node.js实现，无GPU/内存要求，启动即用
3. 透明可审计：压缩日志完整记录每处修改，可回放对比原始与压缩后内容

技术架构与实现细节

项目核心是src/目录下的几个模块：

• interceptor.js：通过LD_PRELOAD（Linux）或DYLD_INSERT_LIBRARIES（macOS）拦截AI工具的HTTP请求，在发送前劫持token流
• compressor.js：实现上述多层压缩算法，核心是AST解析器（基于Tree-sitter）和正则模式匹配的组合
• validator.js：压缩后快速检查语法正确性，使用esprima（JS）和pyright（Python）等轻量级解析器
• dashboard.js：内嵌Express服务器，提供实时监控Web界面

关键设计决策：不缓存任何用户代码。所有压缩在内存中进行，会话结束后立即释放，符合企业安全要求。

潜在局限

• 对非主流语言（如Rust宏、Elixir DSL）的AST解析不够完善，压缩率会下降
• 高度动态的代码（大量eval、反射）可能触发验证回退，压缩效果打折扣
• 需要Node.js运行环境，对纯Python技术栈用户稍显不便（但可通过Docker封装）

总结

Token Diet是目前AI编程助手生态中最实用的token优化工具之一。它不像那些花哨的提示工程框架需要你改变工作流，而是像一个静默的管家，在后台持续优化token利用率。31%的平均节省意味着：如果你每月花费$100在Claude Code上，Token Diet能帮你省下$31——而且完全不影响代码质量。对于团队来说，这个数字乘以席位数，就是实打实的ROI。

对于任何认真使用AI编程助手的开发者，这不是一个“要不要用”的问题，而是“什么时候装”的问题。

项目地址：https://github.com/Kulaxyz/token-diet
"}"