OTRouterClaude、GPT 一个 Key 调用看价格 →
行业观察官方发布 · huggingface.co

研究:FLOPs 估算微调时长偏差明显,CatBoost 预测器 MAE 降至 1.71 小时

OmniTools 11月19日消息,11 月 18 日,Hugging Face 博客发布 Dharma-AI 团队的文章,基于 272 个生产环境监督微调(SFT)任务、约 7,382 GPU 小时的数据,比较传统 FLOPs 估算与学习型预测器对端到端微调时长的预测效果。这些任务运行在 NVIDIA H200 GPU 共享集群上,时长范围为 1.6 至 172.4 小时,平均 23.43 小时,中位数为 15.29 小时。

文章称,常用 FLOPs 估算只能解释较少观测变化,R² 为 0.31,MAE 为 12.41 小时;扫描不同 MFU 后,最佳设置下平均误差仍超过 12 小时。另一分析模型 Calculon 的估计中位数仅为实际墙钟时间的 11%,显示生产任务中大量耗时发生在优化循环之外,包括环境准备、模型加载、评估、检查点上传与存储 I/O 竞争等。

团队将端到端时长视为监督回归问题,仅使用任务分发前即可获得的配置与模型元数据,最终 CatBoost 模型使用 24 个特征,在 5 折交叉验证中达到 R² 0.98、MAE 1.71 小时、中位绝对误差 0.51 小时;80% 的预测误差在 2.20 小时内,90% 在 4.31 小时内。特征重要性显示,评估样本总量、可训练参数量、检查点保存数量等配置项对时长影响明显。

文章指出,该预测器目前仅覆盖 SFT 与 H200 基础设施,超过 60 小时的长任务样本较少、误差会扩大;完整论文将发布在 arXiv。

返回快讯