TAPESTRY统一视频生成与机器人控制

2026年10月27日，arXiv cs.AI/cs.LG 最新报道，TAPESTRY 提出用单一视频扩散骨干同时处理视频生成与机器人控制。该方法将预训练视频扩散 Transformer 改造成机器人策略，推理时无需生成视频；论文已被 CoRL 2026 接收。技术实现上，TAPESTRY 将每个动作时间步线性投影为视频模型 VAE 隐空间中的单个 patch token，与视频共用 patchify 层和 Transformer 骨干，并按 minibatch 元素采样视频扩散、联合视频加动作扩散和仅动作扩散三种目标。目前进展为论文被接收并公开方法细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。