亚马逊提出 HOPE:用二阶专家剪枝压缩 MoE 模型
亚马逊研究团队在 Hugging Face 博客发文,提出一种名为 HOPE(Higher Order Pruning of Experts)的二阶专家剪枝方法,用于压缩混合专家(MoE)语言模型。文章指出,MoE 模型虽然能将大模型扩展到数千亿参数,但推理时每个专家 MLP 都必须占用内存。以 Qwen3.5 122B 为例,其 48 个 MoE 层每层包含 256 个专家,约 250 GB 参数内存中有 95% 被专家 MLP 占据,而...