Fable 5 技能蒸馏：让廉价模型继承旗舰AI的“退休前遗产”

一个Prompt工程方案，在Claude Opus等顶级模型退役前，通过对话提取其技能，并让廉价模型复用这些技能。

一、项目背景与痛点

当前AI大模型领域正经历一场“军备竞赛”。OpenAI、Anthropic、Google等公司不断推出更强大的旗舰模型，同时也在频繁地淘汰旧版本。例如，Anthropic的Claude Opus（原Claude 3 Opus）作为一代旗舰，其推理能力、代码生成质量、逻辑严谨性至今仍被许多开发者视为标杆。然而，这类模型往往价格高昂（API调用成本是廉价模型的数倍甚至数十倍），且随时可能被官方退役或下架。

这就产生了一个核心矛盾：

• 高质量模型太贵：对于个人开发者、小团队或高频调用场景，持续使用Opus级别的模型成本难以承受。
• 廉价模型能力不足：像Claude Haiku、GPT-3.5-Turbo、Mistral-Small等低成本模型，虽然速度快、价格低，但在复杂推理、长上下文理解、代码编写等方面与旗舰模型存在明显差距。
• 技能无法迁移：用户在使用旗舰模型时积累的“调教经验”（如特定任务的prompt模板、角色设定、知识库）无法直接移植到廉价模型上，每次切换模型都需要重新调试。

Fable 5 Train Opus Skills After It Retires 正是为了解决这一痛点而生。它不依赖微调或模型权重，而是通过一个精心设计的Prompt，在旗舰模型（如Claude Opus）退役前，引导其生成一套结构化的“技能定义”（skills），然后让廉价模型加载这些技能，从而在特定任务上达到接近旗舰模型的效果。

二、项目简介

项目名称：tomicz/fable-5-train-opus-skills-after-it-retires

核心思想：“授人以鱼不如授人以渔”。它不试图复制整个模型，而是提取旗舰模型在特定任务上的“行为模式”和“思考框架”，以文本形式存储，再由廉价模型模仿执行。

简单来说，它的工作流程分为三步：

1. 技能提取：向旗舰模型（如Claude Opus）提供一段精心编写的Prompt，要求它针对某个具体任务（如代码审查、SQL生成、逻辑推理）生成一套详细的“技能定义”。
2. 技能固化：将提取到的技能定义保存为结构化文本（JSON/YAML），作为“技能包”。
3. 技能加载：在廉价模型（如Claude Haiku、GPT-3.5）的对话上下文中，注入该技能定义，让廉价模型按照同样的思维链和规则执行任务。

三、安装与使用

3.1 环境要求

• 不需要任何额外的Python库或框架。
• 只需要能够调用LLM API的客户端（如OpenAI SDK、Anthropic SDK、或任何支持聊天接口的工具）。
• 建议使用支持系统提示（System Prompt）的模型。

3.2 使用步骤

步骤1：提取技能（在旗舰模型上运行）

向Claude Opus（或其他旗舰模型）发送以下Prompt（摘自项目核心）：

markdown
You are Fable 5, a master skill extractor. Before you retire, you need to create a skill set for the task: "Code Review".

Your output must be a valid JSON object with the following structure:
{
"skill_name": "Code Review",
"version": "1.0",
"thinking_framework": ["step1: Understand the code purpose", "step2: Check for security vulnerabilities", "step3: Evaluate performance", ...],
"rules": [
"Always start with a summary of what the code does.",
"List issues in order of severity: critical, major, minor.",
"Provide concrete fix suggestions, not just criticism.",
"If the code is incomplete, note that assumptions were made."
],
"examples": [
{
"input": "def add(a,b): return a+b",
"output": "This function adds two numbers. No issues found. However, consider adding type hints for clarity."
}
],
"anti_patterns": [
"Avoid saying 'this code is bad' without explanation.",
"Don't suggest refactoring without showing the benefit."
]
}

旗舰模型会返回一个结构化的JSON，这就是“技能定义”。

步骤2：保存技能定义

将返回的JSON保存到本地文件，例如 code_review_skill.json。

步骤3：在廉价模型上加载使用

在廉价模型（如Claude Haiku）的System Prompt中，直接注入该JSON内容：

markdown
You are a code reviewer. You have been trained with the following skill set. Follow it strictly.

[加载 code_review_skill.json 的内容]

Now, review the following code:

[用户输入代码]

3.3 代码示例（Python）

python
import anthropic

廉价模型客户端

client = anthropic.Anthropic(api_key="your-key")

加载技能定义

with open("code_review_skill.json", "r") as f:
skill_definition = f.read()

用户待审查的代码

user_code = """
for i in range(100):
print(i)
"""

response = client.messages.create(
model="claude-3-haiku-20240307", # 廉价模型
system=f"You are a code reviewer. Use the following skill set:\n\n{skill_definition}",
messages=[
{"role": "user", "content": f"Review this code:\npython\n{user_code}\n"}
],
max_tokens=1000
)

print(response.content[0].text)

四、核心亮点与原理分析

4.1 不依赖微调，零成本迁移

传统的模型能力迁移通常需要：

• 微调（Fine-tuning）：需要收集大量标注数据，训练成本高，且可能破坏模型原有能力。
• 蒸馏（Distillation）：需要访问教师模型的logits或中间层，对闭源模型不可行。

而Fable 5的方法完全基于Prompt工程，不需要任何训练步骤，也不需要模型权重。只要旗舰模型能输出结构化的技能定义，廉价模型就能通过System Prompt加载使用。

4.2 结构化思维框架（Thinking Framework）

这是最核心的部分。旗舰模型生成的“thinking_framework”实际上是一个思维链（Chain-of-Thought）的显式定义。廉价模型在推理时会按照这个框架一步步思考，从而复现旗舰模型的推理路径。例如，对于代码审查任务，框架会要求模型先理解代码目的，再检查安全漏洞，然后评估性能，最后给出建议——这种结构化的思考过程显著提升了廉价模型输出的质量。

4.3 反模式（Anti-patterns）机制

项目引入了“anti_patterns”字段，明确告诉廉价模型不要做什么。这相当于一个负样本约束，能有效避免廉价模型常见的“胡言乱语”或“过度批评”等问题。例如，在代码审查中，禁止模型只说“代码很烂”而不给出具体理由。

4.4 示例驱动（Few-shot Examples）

技能定义中包含输入-输出示例，为廉价模型提供具体的风格和格式参考。这些示例由旗舰模型生成，质量高、针对性强。

4.5 可组合性

用户可以针对不同任务提取多个技能包（如代码审查、SQL生成、文档编写），并在廉价模型上按需加载。甚至可以将多个技能包组合到同一个System Prompt中，让廉价模型成为一个“多面手”。

五、适用场景

1. 高频API调用场景：例如自动化代码审查机器人、客服系统、内容生成工具等，使用廉价模型可以大幅降低成本。
2. 模型退役前的知识抢救：在旗舰模型被官方退役前，将它的“技能”提取出来，避免知识丢失。
3. 离线或受限环境：如果只能部署廉价模型（如本地运行的Llama 3-8B），可以通过技能定义提升其特定任务表现。
4. 快速原型开发：先用旗舰模型设计技能，再切换到廉价模型进行大规模测试。

六、同类项目对比

特性	Fable 5	传统微调	模型蒸馏	Prompt Chaining
需要训练	❌	✅	✅	❌
需要访问模型权重	❌	✅	✅	❌
成本	极低（仅API调用费）	高	高	低
技能可移植性	强（纯文本）	弱（绑定模型）	弱（绑定模型）	中（依赖prompt结构）
输出质量稳定性	中（依赖prompt设计）	高	高	中
适用模型	任何支持system prompt的LLM	仅开源模型	仅开源模型	任何LLM

优势：

• 唯一不需要训练就能实现技能迁移的方案。
• 技能包可跨模型复用（例如从Claude Opus提取的技能，可以用于GPT-3.5、Mistral、甚至本地模型）。

局限性：

• 技能质量完全取决于旗舰模型首次生成时的Prompt设计。如果Prompt写不好，提取的技能可能不够精确。
• 廉价模型的能力天花板仍然存在。对于极度复杂的推理任务（如数学证明、多步规划），即使有技能定义，廉价模型也可能无法完全复现旗舰模型的表现。
• 技能包是静态的，无法像微调那样持续学习新数据。

七、总结与展望

Fable 5 Train Opus Skills After It Retires 是一个极具创意的Prompt工程方案。它巧妙利用了旗舰模型的“最后价值”——在退役前生成结构化技能定义，从而让廉价模型继承部分能力。这种方法特别适合预算有限但又对特定任务质量有要求的开发者。

未来，该项目可以进一步扩展的方向包括：

• 自动化的技能提取工具（一键从旗舰模型生成技能包）。
• 技能包市场（用户共享和交易技能定义）。
• 动态技能组合（根据输入任务自动选择最合适的技能包）。

对于所有担心“好模型越来越贵、越来越难用”的开发者来说，这个项目提供了一条低成本、高效率的替代路径。

项目链接：https://github.com/tomicz/fable-5-train-opus-skills-after-it-retires