arXiv Artificial Intelligence· Toni J. B. Liu, Jiajun Bao, Gurbir Arora, Mitchell Ostrow, Yizhou Liu, Rapha\"el Sarfati, Nicolas Boull\'e, Christopher J. Earls·· 17 小时前AI 评分34
LLM 如何编码并调节一元先验：Llama、Qwen、Gemma、Pythia 中的“无知方向”
The Direction of Ignorance: LLMs Encode and Temper a Unigram Prior
AI 导读
研究发现 Llama、Qwen、Gemma 和 Pythia 等 0.4B 至 405B 参数模型的 unembedding 矩阵中存在一个“无知方向”，编码训练语料的一元分布，作为模型不确定时回退的贝叶斯先验。
来源：arXiv Artificial Intelligence · arxiv.org