TokenGate 用学习式 token 剪枝让 LLM prefill 更快更省内存
TokenGate 是一个可即插即用的小组件,让已有大模型在长上下文 prefill 阶段做端到端可学习的 token 剪枝。在多项任务上首 token 延迟快 1.4 到 11.3 倍、峰值内存低 1.5 到 3.4 倍且精度不降,相比此前最好的 token 剪枝方法 prefill 最多快 6.4 倍、峰值内存低 2 倍。
TokenGate 是一个可即插即用的小组件,让已有大模型在长上下文 prefill 阶段做端到端可学习的 token 剪枝。在多项任务上首 token 延迟快 1.4 到 11.3 倍、峰值内存低 1.5 到 3.4 倍且精度不降,相比此前最好的 token 剪枝方法 prefill 最多快 6.4 倍、峰值内存低 2 倍。
研究提出 BrainLoRA,用 LoRA 加轻量 readout 对最高 104B 参数的多模态主干做参数高效微调,在 9 个多模态主干上均提升脑编码性能。在与此前 SOTA 相同的 Qwen3-Omni 主干上,该方法取得 Algonauts 2025 挑战赛已发表最佳成绩。
论文提出 WildAWM,一个用开源模型合成可控环境与任务、用于训练通用计算机使用智能体(CUA)的流水线。它构建同时支持图形界面、MCP 服务和命令行的可执行环境,并用执行式质量门控配合多智能体采样、交叉评判一致性和反事实探针,保证任务可解、难度足够且验证器可靠。
推荐理由:做 computer-use agent 训练的团队可以复用这套合成管线,批量生成带验证器的长程可执行任务环境。
作者 erikkannike 发布 qwen3-4b-deslop,由 Qwen3-4B-Instruct 在 MacBook Air 上微调得到,用作去掉 AI 写作腔调的写作模型,量化版 2.5 GB,可用 Ollama 本地运行。
论文提出一套在手机 NPU 上完成一阶 LoRA 训练的系统,把前向、激活重算和输入梯度三处冻结权重乘法都交给 NPU,训练图、适配器与优化器留在 CPU。输入梯度核复用常驻权重分块和前向反量化器,省去转置权重拷贝;精度按梯度敏感度选择,FP16 输出加逐行范围保护,并支持断点续训和温控节流,可当后台任务运行。
推荐理由:做端侧个性化微调的团队可以参考它在 NPU 跑冻结权重、CPU 跑适配器的分工,评估骁龙平台的可行性。
Minhua Lin 等提出 LM2LM,用强化学习训练 LLM 生成有效的语言模型改进提案。方法以一个冻结的 LLM 作为研究世界模型(RWM),依据上下文中真实实验记录预测提案增益并充当奖励模型,同时定期真跑高分提案、把实测结果回填上下文以保持反馈可靠。
MGE-PO 提出四象限(4Q)优势塑形,用验证正确性决定修正项的符号、用 rollout 生成熵决定修正幅度,弥补 GRPO 对同组内同等奖励回答分配相同优势值的问题。
arXiv 论文提出互补表示这一时序推理设计原则,让时序语言模型同时接收两种视觉视图:保留绝对测量值和观测坐标系的折线图,以及对正幅度缩放和偏移不敏感的归一化延迟嵌入。
CATCH 是一种连续对抗训练方法,训练模型靠近诚实回答、远离不诚实回答,以提升大语言模型的诚实性。研究在 Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B 上仅用数百条自报告场景构造的目标训练,模型在 MASK 基准受压时的不诚实行为持续减少,在 Among Us 多智能体游戏中更多坦白,AuditBench 对隐藏行为的发现率也提高。
LEASH 是一个免训练框架,让弱模型默认执行 computer-use 任务,仅在其潜在不确定性升高时才把控制权交给强模型,交接后继续监督。它复用动作生成时已有的激活值,与历史成功和失败轨迹比对来判断不确定性,无需额外前向或专门训练监控器。
Hugging Face 发布覆盖 2026 年 1 至 8 月的开源模型生态观察报告,期间 Hub 上公开模型仓库从 243 万增至 296 万,数据集从 71.1 万增至 100 万,Spaces 从 100 万增至 144 万。
推荐理由:做开源模型选型与微调的团队可以借报告中的下载量和衍生模型分布,判断该把工程押在哪个模型家族上。