Multiverse Computing 提出物理启发式大模型剪枝新方法:将模块移除建模为伊辛优化问题
Multiverse Computing 9月21日消息,研究团队提出一种新型大语言模型(LLM)深度剪枝方法,将选择移除哪些 Transformer 模块的问题建模为受约束的二元优化(CBO)问题,并映射至伊辛玻璃(Ising glass)自旋系统——一种具有全连接相互作用和固定自旋数的无序物理系统。 该方法通过二阶泰勒展开近似模型损失函数,构建包含模块独立重要性(对角项)与模块间耦合效应(非对角项)的 Hessian 矩阵,从而捕捉模块...