跳到正文

#数据/训练

今日 0 条
10月17日周六
10月16日周五
  1. arXiv cs.AI / cs.LG 最新48

    SimOPD:面向同策略蒸馏的关系知识迁移

    SimOPD 提出用响应相似度迁移教师模型内部知识,以改进同策略蒸馏。它利用学生生成响应的成对记忆库,把教师内部表示提取为相似度分布,并让学生在自身表示空间内匹配,避免跨模型投影。实验显示,SimOPD 在同架构与跨架构设置下,整体平均较最强基线最高提升 2.6 和 3.1 个百分点。

  2. arXiv cs.AI / cs.LG 最新49

    DiffPT:用扩散模型实现数据高效的分类器预训练

    研究者提出 DiffPT,一种利用扩散模型为分类器骨干做预训练的方法,专门面向数据有限的领域特定训练。研究在时间序列、标准自然图像 benchmark 和医学影像数据集上,将 DiffPT 与多种现代及传统无监督/自监督方法对比。结果显示,对比式预训练在 CIFAR-10 和 Tiny ImageNet 的低数据场景更强,DiffPT 则在医学影像和时间序列任务的多档低数据区间优于自监督基线。

  3. arXiv cs.AI / cs.LG 最新47

    重新思考现代 MoE 的路由探索:MirrorMoE 如何缓解探索困境

    MirrorMoE 通过 token 自适应抑制不必要专家来缩小路由探索空间,以缓解现代 MoE 中共享专家与细粒度专家分割之间的探索困境。共享专家会降低 token 表示可变性,而细粒度分割又组合式扩大路由空间,二者形成探索矛盾。在多个模型规模上,MirrorMoE 均持续提升性能。

  4. arXiv cs.AI / cs.LG 最新55

    ACEdit 用非对称条件化训练稳定多轮图像编辑

    ACEdit 提出一套训练方案,用来缓解图像编辑模型在多轮连续编辑中效果累积退化的问题。方法在训练时强制编辑器处理自己前几轮的输出(Self-Forcing),并用教师编辑器提供蒸馏信号,同时采用非对称条件化,学生按顺序编辑自身输出,教师始终锚定原始干净图像并接收复合编辑指令。实验显示长多轮序列上的退化明显减少,编辑质量与指令遵循得以保持。

  5. arXiv cs.AI / cs.LG 最新63

    arXiv 论文提出 MPT 市场化后训练框架,让去中心化智能体群体学会自组织

    论文提出市场化后训练(MPT),让去中心化智能体群体在训练中同时学习动作策略与自组织协同。智能体通过竞价表达参与意愿,竞价决定谁行动并分配局部训练积分,全程不需要中央协调者。在具身制作、机器人导航和深度研究三项任务上,MPT 优于单体式后训练,推理时群体规模越大性能越好、智能体掉线造成的损失也更小。代码与训练好的模型已公开。

  6. arXiv cs.AI / cs.LG 最新55

    CATCH 提出连续对抗训练方法,提升大语言模型诚实性并保持能力

    CATCH 是一种连续对抗训练方法,训练模型靠近诚实回答、远离不诚实回答,以提升大语言模型的诚实性。研究在 Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B 上仅用数百条自报告场景构造的目标训练,模型在 MASK 基准受压时的不诚实行为持续减少,在 Among Us 多智能体游戏中更多坦白,AuditBench 对隐藏行为的发现率也提高。

  7. arXiv cs.AI / cs.LG 最新58

    CoRL 2026 论文提出针对性主动偏好学习,低查询预算下奖励恢复最高提升 30.8%

    一篇被 CoRL 2026 接收的论文提出把欠定奖励的负担从人转移到机器人一侧,让机器人主动提出更有针对性的偏好查询。方法是用人类教学数据构建知情先验,把查询定向到监督不足的特征上,并为每个查询附上解释,把人的注意力聚焦到这些特征。仿真显示该先验在低查询情形下比标准主动偏好学习基线最高提升 30.8%,用户研究中先验与解释各自显著改善奖励恢复,并且效果相互放大。

  8. arXiv cs.AI / cs.LG 最新48

    拓扑启发微调提升风场超分辨率模型:预训练 CNN 的平均 PD 距离降低 31%

    拓扑启发的辅助损失微调使预训练 CNN 风场超分辨率模型在 168 场固定基准上把平均 bottleneck PD 距离降低 31%。最终目标结合梯度监督与固定持久对(persistence pair)监督,相对预训练 CNN 将 W2,∞ 与 W2,2 距离分别降低 25%、27%,PSNR 提升 1.30 dB,约为标准微调增益的一半。

9月30日周三
9月28日周一
9月8日周二
9月3日周四
  1. Google DeepMind80

    Google DeepMind 发布 WeatherNext 3 全球天气模型,5 公里分辨率并逐小时更新

    Google DeepMind 与 Google Research 发布全球天气模型 WeatherNext 3,直接使用实时地球静止卫星数据训练,每小时生成一次预报,温度与湿度等变量分辨率达 5 公里,整体比 25 公里网格、6 小时更新的 WeatherNext 2 精细约五倍。

    推荐理由:做新能源发电预测或农业天气风险评估的团队可直接在 BigQuery 查询逐小时预报,省去自建模型的第一步。

9月1日周二
  1. Google Research78

    Google 发布 TimesFM-3,原生支持多变量零样本时间序列预测

    Google Research 发布 TimesFM-3,一个 330M 参数、原生于多变量预测的零样本时间序列基础模型。它可同时预测多条相关序列,并把历史协变量和已知未来事件(如促销、天气)作为输入,经一次前向传播输出整个预测区间和 9 个分位数。

    推荐理由:做销量或流量预测的团队可直接在 BigQuery 用 AI.FORECAST 调用它,把促销日程这类已知未来变量一起输入。

8月28日周五
  1. Google Research68

    Google 在 Google Earth AI 下推出行星预测引擎 PPE,自动执行地理空间建模全流程

    Google 在 Google Earth AI 下推出实验性研究能力 planetary prediction engine(PPE),可由自然语言查询自主完成地理空间数据发现、特征工程、模型训练与评估,把原本需要数周的人工建模压缩到数分钟。

    推荐理由:公共卫生或粮食安全方向的研究者可以用它把自然语言查询跑成地理空间预测模型,省去人工找数据与特征工程,但目前仍是实验性研究能力。

8月27日周四
8月26日周三
  1. Hugging Face Blog77

    Sentence Transformers v6.0 新增 MultiVectorEncoder,给出多向量检索模型微调完整流程

    Sentence Transformers v6.0 新增 MultiVectorEncoder,用于 ColBERT 式 late interaction 检索,并提供从数据、损失函数到训练器的完整微调流程。

    推荐理由:做医疗、法律等垂直检索的团队可以照脚本用自有问答对微调多向量模型,单张 RTX 3090 跑十几个小时,前提是先备好问答对数据。

8月25日周二
8月22日周六
  1. Google Research61

    Google Research 推出 Biomarker Discovery Framework,从可穿戴数据中筛选候选生物标志物

    Google Research 推出 Biomarker Discovery Framework,用多智能体在人类监督下把候选生物标志物筛选组织成迭代研究循环,并对候选做对抗校验。

    推荐理由:做数字健康研究的团队可以照它的六阶段流程和对候选指标的对抗校验设计,把可穿戴数据的初筛交给多智能体,再人工复核。

8月21日周五
  1. Google Research65

    Google Research 的 ME-POIs 如何用移动数据加深语言模型对地点的理解

    Google Research 提出 ME-POIs 框架,把匿名聚合的到访时间、停留时长等移动模式编码成嵌入向量,与 Gemini 等文本表征对齐,让模型同时拿到地点的身份和动态功能。

    推荐理由:做本地生活或选址分析的团队可参考该框架把匿名到访数据叠加到文本表征上,补足小商户样本稀疏的部分。

8月17日周一
7月21日周二
  1. Hugging Face Blog63

    Pollen Robotics 开源 Grabette,用手持夹爪低成本采集机器人操作数据

    Grabette 是 Pollen Robotics 开源的机器人操作数据采集系统,用手持夹爪代替遥操作机械臂记录演示。设备含两个摄像头、IMU 和夹爪编码器,硬件物料成本约 490€,配套电机夹爪 Gripette 约 120€。

    推荐理由:机器人学习团队可按开源清单组装 Grabette,用手持演示直接采集并转成 LeRobot 训练数据集。

6月30日周二
  1. Google Research78

    Google 发布 TabFM 零样本表格数据基础模型

    Google 发布 TabFM,一个面向表格数据分类和回归的零样本基础模型。它把整张表作为上下文提示,单次前向传播即可给出预测,无需逐数据集训练、超参数调优和特征工程。

    推荐理由:企业分析团队可以直接在 BigQuery 用 SQL 对已有表做零样本分类或回归,省去训练模型和调参。

6月5日周五
  1. Google Research76

    Google 在 Nature 发表 PHRM,用手机前置摄像头被动监测心率和静息心率

    Google 在 Nature 发表 PHRM 研究系统,在手机解锁后的几秒内用前置摄像头拍摄面部视频,通过端上深度学习估算心率和每日静息心率。研究在实验室与真实场景中采集近 700 名受试者的 35 万余段视频,心率估计 MAPE 低于 10%,静息心率与 Fitbit Charge 6 对比的整体 MAE 为 4.39 bpm。

    推荐理由:有 IRB 资质的研究团队可以申请这份人脸视频数据集和 PHRM-mini 预训练模型,用来检验自家 rPPG 流程在深肤色人群上的误差。