VocabX定制小模型词表,实测推理成本降低77%
Hugging Face 博客发布文章介绍了 Dharma AI 团队的 VocabX 方法:针对单一领域或任务重新设计小模型词表,在不更换基座模型的情况下降低推理成本。文章称,该方法在一个基于 Qwen3 4B 的葡萄牙语作文自动评分系统中实测,推理成本下降 77.0%。 文章指出,通用模型词表会带来两类浪费:领域高频文本被拆成过多 token,同时词表包含大量领域几乎不用的条目。VocabX 按 token 的实际成本而非出现频率选择...