arXiv Computer Vision· Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang, Shuangzhi Wu, Ningyu Zhang·· 4 小时前AI 评分37
Cortex：将上下文整合进参数化记忆
Cortex: Consolidating Context into Parametric Memory
AI 导读
Cortex 通过生成前瞻性查询预判上下文用途，并将上下文条件下的输出蒸馏为可合并的低秩或结构化前馈网络更新，从而把上下文带来的性能增益内化到模型参数中。
来源：arXiv Computer Vision · arxiv.org