Hugging Face 升级 vLLM 推理后端,Transformers 模型现可实现原生级推理速度
Hugging Face 官方博客7月8日消息,Hugging Face 宣布 transformers 库的 vLLM 推理后端完成重大升级,现已在多项基准测试中达到甚至超越 vLLM 原生模型实现的吞吐量。 本次升级覆盖 Qwen3 系列三种典型架构:4B 密集模型(单卡)、32B 密集模型(张量并行)及 235B FP8 MoE 模型(数据+专家并行),均在 8×H100 节点上验证达标。用户仅需添加 model impl transf...