arXiv cs.AI / cs.LG 最新· Yubing Wu·· 18 小时前AI 评分47
DPO 计算图随机剪枝：训练提速 1.4 倍并降低峰值内存
Stochastic Pruning of the DPO Computation Graph: 1.4x Faster Training and Lower Peak Memory
AI 导读
一个统一框架对 DPO 计算图做随机剪枝，分别采样打分位置、执行前缀和反向传播的偏好分支，并在对应操作前完成选择以省去训练各阶段计算。分支剪枝在拼接式 DPO 基线之上实现 1.426× 单步提速，相对原始 DPO 训练时间减少约 30%，覆盖两个模型族。位置与序列剪枝主要降低峰值内存，代价是平均准确率略低。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。