热点事件观察中
Dobb:分片局部块对角特征基优化器
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026 年 10 月 29 日,arXiv cs.AI / cs.LG 收录的一篇报道介绍了一款名为 Dobb 的优化器:该优化器能感知矩阵结构,并把更新计算限制在参数分片内部,从而避免在张量并行(TP)和 FSDP 下执行跨分片的全局矩阵运算,减少分布式训练中的通信开销。具体做法是用对角块近似输入激活的二阶矩,在每个块内跟踪完整基,把动量投影到这些基上,再对系数做符号归一化并重建更新。目前关于该优化器仅有这一篇报道,尚未披露实验数据、对比结果或后续进展。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 13:54
arXiv 新报道提出 Dobb 优化器,把矩阵更新限制在参数分片内,以降低 TP/FSDP 下的跨分片通信。报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- arXiv cs.AI / cs.LG 最新Dobb 优化器把矩阵更新限制在参数分片内,减少分布式训练通信
Dobb 是一种矩阵感知优化器,它把更新计算限制在参数分片内,从而避免在 TP 和 FSDP 下进行跨分片的全局矩阵运算。它用对角块近似输入激活二阶矩,在每个块内跟踪完整基,把动量投影到这些基上,对系数做符号归一化后再重建更新。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。