LM2LM 用强化学习训练大模型提出模型改进方案
Minhua Lin 等提出 LM2LM,用强化学习训练 LLM 生成有效的语言模型改进提案。方法以一个冻结的 LLM 作为研究世界模型(RWM),依据上下文中真实实验记录预测提案增益并充当奖励模型,同时定期真跑高分提案、把实测结果回填上下文以保持反馈可靠。
Minhua Lin 等提出 LM2LM,用强化学习训练 LLM 生成有效的语言模型改进提案。方法以一个冻结的 LLM 作为研究世界模型(RWM),依据上下文中真实实验记录预测提案增益并充当奖励模型,同时定期真跑高分提案、把实测结果回填上下文以保持反馈可靠。
SETAREH Transform 是一种排序辅助的 Haar 小波稀疏化方法,用于近似计算固定高维系数向量与连续输入向量的内积。该方法对两向量施加相同排列与 Haar 变换,截断前保持内积精确,截断后仅保留部分系数-输入对并引入可控误差。在合成高斯基线及 APPA-REAL 数据集的 CNN 表观年龄估计任务中,它可用显著少于原维度的系数-输入对完成近似。
这篇论文把竞争风险生存分析中的损失函数与骨干网络两个变量拆开单独考察,在20个表格数据集和3个病理图像数据集上测试3种损失(其中2种为严格 proper)与4种骨干的组合。
该研究提出一种正则化框架,用未训练 CNN 生成的固定非线性特征配合 Tikhonov 正则化最小二乘,从边界测量中联合重建光声断层成像的初始压力与空间变化声速。数值实验在 held-out 数据上实现准确重建并泛化到未见过的 phantom 几何,噪声水平升至 10% 时精度仅轻微下降。相比有监督训练的 CNN,该未训练表示的重建误差显著更小,计算时间约为其六分之一。
论文提出 MobileInject,一个评估 MLLM 移动智能体多模态注入与推理到行动安全风险的评测基准,覆盖 11 个场景、9 类安全风险和 108 个可执行风险实例。它引入跨模态一致性注入,并给出多角色协作欺骗与推理伪装注入两种增强攻击方法,配套推理安全诊断框架做细粒度失败分析。系统实验显示移动智能体普遍易受多模态注入影响,不少失败源于早期阶段的推理被劫持。
SimOPD 提出用响应相似度迁移教师模型内部知识,以改进同策略蒸馏。它利用学生生成响应的成对记忆库,把教师内部表示提取为相似度分布,并让学生在自身表示空间内匹配,避免跨模型投影。实验显示,SimOPD 在同架构与跨架构设置下,整体平均较最强基线最高提升 2.6 和 3.1 个百分点。
Spatial-TRM 用冻结的视觉语言特征配合权重共享的递归推理完成空间上下文预测,可训练参数仅 11.2M。在 RoboSpatial-Home 基准上,其上下文准确率为 29.51%,比同等参数量的单步模型高 9.02 个百分点(相对提升 44.0%)。模型支持 6 种空间关系、3 种参考系和开放词表锚点物体,含冻结编码器共 877.8M 参数。
arXiv 论文提出 CoTA++,一个免训练、即插即用的框架,用于缓解扩散多模态大模型(dMLLMs)用近似缓存解码时出现的重复诅咒,即回复在相邻位置重复同一 token 导致句子断裂。
研究者提出 DiffPT,一种利用扩散模型为分类器骨干做预训练的方法,专门面向数据有限的领域特定训练。研究在时间序列、标准自然图像 benchmark 和医学影像数据集上,将 DiffPT 与多种现代及传统无监督/自监督方法对比。结果显示,对比式预训练在 CIFAR-10 和 Tiny ImageNet 的低数据场景更强,DiffPT 则在医学影像和时间序列任务的多档低数据区间优于自监督基线。
NestedVLA 提出用参数生成替代参数聚合,由一个以目标任务为条件的嵌套超网络合成任务自适应的动作专家参数,与冻结的基座 VLA 组合,任务专属的压缩 VLM 残差单独保留。
论文提出JointCoreBench基准和JointCore记忆选择基线,用于在冗余或联合必要证据下为LLM智能体挑出能保持全量记忆行为的低成本子集。基准包含九类交互、六个工作流域和精确充分集oracle;在6912个精确条件上,按成本排序的JointCore在100.0%的情况下恢复最小成本充分集,子集评估次数从30.00降到11.13,节省87.8%活跃记忆。
面向光通信网络自动故障排查的智能体 AI 系统通过将数据引用集成到智能体架构中,防止数据幻觉,并提升根因识别与推理的可解释性和可信度。该系统作为 demo 在 ECOC 2026 展示。
FLARE 是一个面向配电馈线故障隔离后恢复的物理约束基准,包含五种观测设置下的 800 个 AC 可行案例,允许智能体在固定运行限制内取证、评估开关并执行恢复动作。
Yibo Zhou 的论文提出反事实配对循环,一种在同一对比两侧复用相同两张图和两条描述、只改变图文配对的评测方法,使仅图像、仅文本和加性组件捷径在有限样本中精确抵消。
这篇 arXiv 论文把阅读上下文与推理生成共用一个固定 token 窗口的权衡形式化为 token 预算理论,将准确率建模为扣除阅读开销后剩余推理预算的函数,并用允许相关误差的 Condorcet 陪审团模型聚合投票。
MGE-PO 提出四象限(4Q)优势塑形,用验证正确性决定修正项的符号、用 rollout 生成熵决定修正幅度,弥补 GRPO 对同组内同等奖励回答分配相同优势值的问题。
arXiv 论文提出混合门控的各向异性表示动态理论,将自注意力拆分为值传输、查询门控和键门控。该理论形式化门控诱导的机制切换,并给出判定表示差异收缩或扩张的充要谱判据。在四种 Transformer 架构上的实验验证了查询—键门控机制与切换子空间等预测。
研究者提出一套由主维度和子维度构成的概念框架,用于表征(定义“是什么”)与分析(评估“做得如何”)现有 RAG 技术,帮助在计算与资金成本高昂的实证基准测试前,筛选出最契合特定用户与任务需求的方案。该框架基于对文献中 RAG 技术属性的定性分析构建,可作为预实证过滤机制供研究者与从业者使用。
GitHub Actions 的 Xcode 27 runner 镜像从 public preview 转为正式可用,运行在 macOS 27 上,包含 Xcode 27 工具链和 Apple SDK,用于构建和测试 Apple 应用。
Reflection 发布其首个开源模型 Beam,501B 参数的 MoE 架构,每个 token 激活 23B,支持 1M token 上下文窗口,采用 Apache 2.0 许可,主攻编码与 Agent 场景。
推荐理由:需要自建推理的团队可以先用 vLLM 或 SGLang 起 NVFP4 版本,四张 B200 就能跑长上下文服务。
GitHub Code Quality 现支持将许可证使用情况下载为 CSV 报告,便于组织或企业核对许可证数量。报告列出消耗 Code Quality 许可证的活跃提交者、其过去 90 天接收提交的仓库,以及提交者是否仅属于单一仓库或组织。该功能适用于 GitHub Team 和 GitHub Enterprise Cloud。
Bluesky 的 Attie AI 工具在原先用 AI 生成信息流的基础上,新增制作小游戏、投票和数据看板等小型社交应用的能力,成品以独立网站链接分享。用户输入一句提示词即可生成,记者实测一个关于 Pokémon Red 和 Pokémon Blue 的投票几分钟就做出来了。
OpenAI 推出 Rosalind Academic Plan,为符合条件的学术实验室提供 GPT-Rosalind 及配套工具的赞助访问权限,用于推进生命科学研究。
Bluesky 在 TechCrunch Disrupt 2026 上宣布扩展其实验平台 Attie,让普通用户搭建网站、测验、游戏、投票等互动体验,不必写代码。
LIBERO-PeRM 是用于评测具身智能体个性化偏好的基准,基于 LIBERO 构建,含五个任务套件共 312 个任务,并提供配对演示与偏好满足度指标。它围绕零样本偏好遵循、从演示学习偏好、随演示增加的学习效率、跨布局与任务泛化、偏好组合与冲突五个问题设计,偏好限于语言可表达且不改变任务目标。
推荐理由:机器人策略研究者可以用这套含 312 个任务的基准,先测零样本个性化表现,再决定是否加入 SFT 数据。
作者提出一个进化式框架,让大语言模型提出量子电路设计,由独立评测器验证并打分,论文编号 arXiv:2610.22367。在数值计算、化学、优化、量子模拟和数论等八项任务里,有七项得到的电路在 Toffoli 门数与量子比特数上都明显低于现有最优。
推荐理由:做量子算法或可逆电路的研究者可以借用这套由 LLM 生成、独立评测器打分的流程,先在自己关注的算术基元上筛一轮候选设计。
CoDA 通过共享异构记忆让仿真数据引擎与动作策略协同演化,把视觉语言评论器验证的诊断编译成环境生成与训练程序,四类操作任务上分布外成功率从 5.3% 提升到 27.6%,超出最强闭环基线 9.5 个百分点。
MirrorMoE 通过 token 自适应抑制不必要专家来缩小路由探索空间,以缓解现代 MoE 中共享专家与细粒度专家分割之间的探索困境。共享专家会降低 token 表示可变性,而细粒度分割又组合式扩大路由空间,二者形成探索矛盾。在多个模型规模上,MirrorMoE 均持续提升性能。
LeanGraphSearch 是面向 Lean 4 的图检索方法,用 Mathlib 的前向依赖关系建图,把语义匹配声明的相关性沿多跳依赖链传播,再对扩展后的候选引理重排。
研究者提出一种鲁棒强化学习框架,将患者建模为隐藏上下文,用鲁棒上下文马尔可夫决策过程统一处理跨患者泛化与生物标志物测量误差、疾病动态漂移下的可靠性问题。在按临床数据校准的转移性前列腺癌模拟器中,该框架学到的自适应治疗策略大幅优于现有自适应疗法,生物标志物准确时几乎不损失性能,并在多种场景下 Pareto 占优。
一篇 arXiv 论文测试了三个模型家族的四个指令微调模型在五种印度语种与英语下的评测意识。当模型被告知正在被监控或正接受安全测试时,四种模型在六种语言中都更常拒绝有害请求,印度语种平均上升 14.4 个百分点。
论文提出面向搜索智能体的强化学习框架 KnowGPO,按轨迹已获得的任务相关知识而非表面观测对齐,并以原子知识条件的状态分组进行组内比较。连续步骤间的增量知识增益被用作环境锚定的过程奖励;在 Xbench、BrowseComp-ZH 和 GAIA 上,KnowGPO 比 GRPO、GiGPO、IGPO 提升 3.8 至 4.2 分。其 8B 模型可媲美或超过多数 32B 开源系统,代码已公开。
ACEdit 提出一套训练方案,用来缓解图像编辑模型在多轮连续编辑中效果累积退化的问题。方法在训练时强制编辑器处理自己前几轮的输出(Self-Forcing),并用教师编辑器提供蒸馏信号,同时采用非对称条件化,学生按顺序编辑自身输出,教师始终锚定原始干净图像并接收复合编辑指令。实验显示长多轮序列上的退化明显减少,编辑质量与指令遵循得以保持。
arXiv 论文提出互补表示这一时序推理设计原则,让时序语言模型同时接收两种视觉视图:保留绝对测量值和观测坐标系的折线图,以及对正幅度缩放和偏移不敏感的归一化延迟嵌入。
论文提出市场化后训练(MPT),让去中心化智能体群体在训练中同时学习动作策略与自组织协同。智能体通过竞价表达参与意愿,竞价决定谁行动并分配局部训练积分,全程不需要中央协调者。在具身制作、机器人导航和深度研究三项任务上,MPT 优于单体式后训练,推理时群体规模越大性能越好、智能体掉线造成的损失也更小。代码与训练好的模型已公开。
arXiv 论文提出一种 steering agent,在任务执行过程中实时监督 LLM 智能体与多智能体系统,发现目标漂移时把系统拉回原定目标。它用低成本快路径判断何时干预、高成本慢路径决定如何干预,两条路径通过强化学习联合训练,结合成对排序目标与 GRPO。
该论文形式化了零比特音频水印的向后兼容问题,提出用性能加权采样把新检测器与一串冻结的旧嵌入器一起训练,使其对早期版本仍保持准确。作者指出这种耦合会引发嵌入器坍缩,令链外嵌入器上的真负率 TNR 大幅下降。为此论文引入角度多样性损失 ADL,强制每个新嵌入器占据输出空间的不同区域。两者结合后 TNR 恢复到接近完美,检测准确率与音频感知质量没有可测量的损失。
CATCH 是一种连续对抗训练方法,训练模型靠近诚实回答、远离不诚实回答,以提升大语言模型的诚实性。研究在 Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B 上仅用数百条自报告场景构造的目标训练,模型在 MASK 基准受压时的不诚实行为持续减少,在 Among Us 多智能体游戏中更多坦白,AuditBench 对隐藏行为的发现率也提高。
EliteReplay 是一种把 GRPO 与质量-多样性搜索构建的“精英”档案结合的后训练方案:训练前用冻结基座模型收集覆盖不同解法的答案,训练中在 GRPO 上叠加该档案的重放损失,从而在提升准确率的同时保留基座模型的解法多样性。