arXiv Artificial Intelligence· Yewei Liu, Xiyuan Wang, Yansheng Mao, Yoav Gelberg, Haggai Maron, Muhan Zhang·· 3 小时前AI 评分42
SHINE：单次前向将上下文映射为 LoRA 的可扩展上下文超网络
SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
AI 导读
SHINE 是一种可扩展超网络，能把多样上下文映射为高质量 LoRA 适配器，单次前向即可更新 LLM 参数、无需微调，并让模型在不直接访问上下文的情况下完成相关复杂问答。它复用冻结 LLM 自身参数并引入架构创新，以较少参数量获得较强表达能力，相比基于 SFT 的适配大幅节省时间、算力和内存。代码已公开。
来源：arXiv Artificial Intelligence · arxiv.org