Ternlight：7MB 的轻量级嵌入模型，在浏览器中用 WASM 跑出高性能

一个仅 7MB 的嵌入模型，通过 WASM 在浏览器内运行，实现低延迟、高精度的本地向量化推理，无需服务器或 GPU。

背景：为什么需要浏览器内嵌入模型？

近年来，嵌入模型（embedding model）已成为 NLP 应用的核心组件，尤其是在语义搜索、推荐系统、RAG（检索增强生成）等场景中。传统嵌入模型如 OpenAI 的 text-embedding-ada-002 或开源的 BERT 系列，通常需要服务器端推理，依赖 GPU 或大量 CPU 资源，且存在网络延迟和数据隐私问题。

Ternlight 的突破在于：它将一个高质量的嵌入模型压缩至 7MB，并通过 WebAssembly（WASM）在浏览器中直接运行，无需任何后端服务。这意味着开发者可以在客户端完成文本向量化，实现毫秒级推理，同时数据完全留在本地，适合隐私敏感或离线场景。

技术细节：7MB 模型如何实现？

Ternlight 基于 Sentence Transformers 架构，但通过以下技术进行了极致压缩：

1. 模型量化：将权重从 FP32 降至 INT8，体积缩小约 4 倍，同时通过校准数据微调量化参数，保持精度下降在可接受范围内（在多个 benchmark 上精度损失 <2%）。
2. 知识蒸馏：以更大模型（如 all-MiniLM-L6-v2，约 80MB）为教师模型，训练一个更小的学生模型（仅 2 层 Transformer），损失函数包括均方误差和对比学习损失，保证嵌入空间的语义一致性。
3. WASM 优化：模型推理逻辑用 Rust 重写，编译为 WASM，利用 SIMD（单指令多数据流）指令加速矩阵运算。浏览器端的推理速度可达每秒 100+ 次（取决于硬件），与原生 Python 推理相当。

性能与精度：不是“玩具”模型

Ternlight 在多个标准语义相似度任务（如 STS-B、SICK-R、Amazon Reviews）上的表现令人惊讶：

• STS-B：Spearman 相关系数 0.82（原教师模型 0.84）
• SICK-R：Pearson 相关系数 0.79（教师模型 0.81）
• 平均精度损失：约 2-3%，远低于同类轻量模型（如 MiniLM-L2-v6 损失 5-8%）

这意味着在大多数实际场景中，Ternlight 的嵌入质量足以替代传统服务器端模型，尤其适合对延迟敏感的应用（如实时搜索、聊天机器人上下文检索）。

使用方式：一行代码集成

Ternlight 提供了简洁的 JavaScript API：

javascript
import { Ternlight } from 'ternlight';

const model = await Ternlight.create();
const embedding = await model.embed('Hello, world!');
// embedding 是一个 384 维的 Float32Array

模型文件通过 CDN 按需下载，首次加载后缓存至 IndexedDB，后续使用无需网络。整个库（包括 WASM 二进制）约 7MB，对比传统模型动辄数百 MB 的依赖，对前端应用非常友好。

应用场景与局限

适用场景：

• 客户端语义搜索（如本地文档检索、笔记应用）
• 隐私优先的 RAG 系统（敏感数据不离开浏览器）
• 离线或弱网环境下的 NLP 任务
• 低预算项目（无需 GPU 服务器）

当前局限：

• 最大输入长度 256 tokens，超过需截断
• 不支持多语言（仅英文）
• 在移动端性能较低（推理时间约 50-100ms）

总结

Ternlight 展示了“小而美”的 AI 落地思路：通过量化、蒸馏和 WASM 优化，让嵌入模型从云端走向边缘。它并非全能，但在浏览器端语义理解领域树立了一个新标杆——7MB 就能跑出接近大模型 90% 的性能。对于前端开发者、独立开发者以及隐私敏感的应用，这是一个值得关注的工具。

原文链接：https://ternlight-demo.vercel.app/