OTRouterClaude、GPT 一个 Key 调用看价格 →
行业观察官方发布 · huggingface.co

亚马逊提出 HOPE:用二阶专家剪枝压缩 MoE 模型

OmniTools 11月9日消息,亚马逊研究团队在 Hugging Face 博客发文,提出一种名为 HOPE(Higher-Order Pruning of Experts)的二阶专家剪枝方法,用于压缩混合专家(MoE)语言模型。文章指出,MoE 模型虽然能将大模型扩展到数千亿参数,但推理时每个专家 MLP 都必须占用内存。以 Qwen3.5-122B 为例,其 48 个 MoE 层每层包含 256 个专家,约 250 GB 参数内存中有 95% 被专家 MLP 占据,而单个 token 在每层只使用 8 个专家。

现有剪枝方法按专家独立打分,属于一阶方法,忽略了专家之间的协同关系。HOPE 通过校准数据构建 F 矩阵,在保留单个专家重要性的同时记录两两专家的交互贡献,并据此求解一个二次规划问题来确定剪枝集合。作者称,该矩阵的对角线几乎完全复现了 REAP 的专家排序(Spearman ρ = 0.988),因此相对 REAP 的提升来自非对角线的交互项。

实验覆盖 Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air 三个模型、Evol-CodeAlpaca 与 SWE-Bench Verified 轨迹两个校准集,在 10% 至 50% 的剪枝率下与 REAP、MAN、EAN、Frequency 四种一阶方法对比。在 50% 剪枝率下,HOPE 的平均排名为 1.58,次优的 REAP 为 2.42;Qwen3.5-35B-A3B 在 50% 剪枝下于 SWE-Bench Pro 取得 42.3 分,与未剪枝模型的 41.8 分相当,而 REAP 降至 36.2 分。文章称在智能体编程任务上相对次优方法最高提升 6.1%。

在开销方面,HOPE 与其他专家剪枝方法相同,只需一次校准前向计算,额外成本主要是求解二次规划,每层耗时约 1 至 2 秒。

返回快讯