SimOPD：面向同策略蒸馏的关系知识迁移

SimOPD 提出用响应相似度迁移教师模型内部知识，以改进同策略蒸馏。它利用学生生成响应的成对记忆库，把教师内部表示提取为相似度分布，并让学生在自身表示空间内匹配，避免跨模型投影。实验显示，SimOPD 在同架构与跨架构设置下，整体平均较最强基线最高提升 2.6 和 3.1 个百分点。

标题与摘要由 AI 辅助生成，事实与观点以原文为准。