DWISE 提出面向扩散 LLM 的去噪工作量感知调度引擎，SGLang 上平均延迟降低 5.4 倍

论文提出 DWISE，一个面向扩散 LLM 的去噪工作量感知调度引擎。它按 prefill 与去噪共享的块级单位衡量剩余工作量，入场时用轻量提示词预测器估计去噪开销，再用首轮去噪的隐藏状态做一次修正。作者在 SGLang 中实现，并在三个 dLLM 家族的五个模型上测试，突发负载下平均端到端延迟较 SGLang 降低 5.4 倍、最高 14.9 倍，同时保持任务准确率，代码将公开。

标题与摘要由 AI 辅助生成，事实与观点以原文为准。