跳到正文
热点事件持续更新

提出PACS扩散语言模型SFT方法

1 篇报道1 个报道来源17 小时前更新

先了解这件事

AI 综述

2026年10月15日,arXiv人工智能板块报道,Miao Li等作者针对扩散语言模型(DLM)中随机掩码导致的训练-推理不匹配问题,提出可预测性感知画布选择与监督方法PACS。该方法用模型自身的可预测性选择每个样本的注意力可见输入长度,并在参考token被置信度引导揭示前对其进行监督。在推理与代码生成基准上,PACS在对比的SFT方法中平均准确率最高,单项基准较原始SFT最高提升12.84个百分点。报道称代码将在论文发表后发布。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv Artificial Intelligence
    匹配画布而非仅匹配答案:面向扩散语言模型的可预测性感知 SFT

    针对扩散语言模型(DLM)中随机掩码导致的训练-推理不匹配问题,研究者提出可预测性感知画布选择与监督方法 PACS,用模型自身的可预测性选择每个样本的注意力可见输入长度,并在参考 token 被置信度引导揭示前对其进行监督。在推理与代码生成基准上,PACS 在对比的 SFT 方法中平均准确率最高,单项基准较原始 SFT 最高提升 12.84 个百分点。代码将在论文发表后发布。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。