arXiv cs.AI / cs.LG 最新· Jeremy A. Collins·· 20 小时前精选AI 评分70
TAPESTRY 用单一视频扩散骨干兼顾视频生成与机器人控制
TAPESTRY: A Single Backbone for Video Generation and Robot Control
AI 导读
TAPESTRY 把预训练视频扩散 Transformer 改造成机器人策略，推理时无需生成视频，论文已被 CoRL 2026 接收。它把每个动作时间步线性投影成视频模型 VAE 隐空间的单 patch token，与视频共用 patchify 层和 Transformer 骨干，并按 minibatch 元素采样视频扩散、联合视频加动作扩散和仅动作扩散三种目标。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
推荐理由
做机器人策略的团队可以借鉴把动作当作视频 patch token 的做法，在已有视频扩散骨干上微调，省去推理时生成视频的开销。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。