arXiv Artificial Intelligence· Yang Liu, Zhiqiang Yuan, Shu-Dong Huang, Jiancheng Lv, Liwei Yang, Qiwei Yan, Kailin Lv, Jinchao Zhang·· 3 小时前AI 评分31
ULME：让嵌入与语言建模相互强化的预测耦合框架
ULME: Predictive Coupling for Mutually Reinforcing Embedding and Language Modeling
AI 导读
ULME 是一个后训练框架，在因果 decoder-only LLM 上通过预测耦合统一嵌入与语言建模：在查询与答案之间插入可学习 slot，分别读取语义嵌入和推理嵌入，并用对比损失、语言建模损失和 stop-gradient 预测损失联合训练。
来源：arXiv Artificial Intelligence · arxiv.org