跳到正文
arXiv Artificial Intelligence· Shihua Yu, Yanzhi Wang, Tianchi Chen·· 17 小时前AI 评分22

递归专家计算的粗粒化:延续相对接口与失效模式

Coarse-Graining Recursive Expert Computation: Continuation-Relative Interfaces and Failure Modes

AI 导读

研究提出延续相对评估框架,用下游任务质量与总执行成本联合判断能否用更便宜的模块替换一段计算更新。在两个冻结预训练语言模型上,表示保真度与任务损失偏好不同的拟合目标:在 1.7B 参数模型的预设比较中,下一 token 损失训练将分布内负对数似然降低 0.1901 nats/token,但在全部九组分布偏移配对比较中排名反转。

来源:arXiv Artificial Intelligence · arxiv.org