跳到正文
Hugging Face Blog·· 4 小时前AI 评分52

VocabX 论文预览:通过词汇表专业化将推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Dharma-AI 在 Hugging Face 博客上预览了即将发表的 VocabX 论文,该方法通过成本加权而非频率来优化领域专用模型的词汇表。在一个基于 Qwen3-4B 的葡萄牙语作文评分器上,该方法将模型响应平均 token 数从 350 降至 101,实测推理成本降低了 77%,同时质量评分从 0.703 提升至 0.810。

来源:Hugging Face Blog · huggingface.co