arXiv Artificial Intelligence· Laya Iyer, Sanmi Koyejo, Chen Shani·· 19 小时前AI 评分29
语言模型表征中的情绪压缩：七款 LLM 在 GoEmotions 上的细粒度情绪组织研究
Compression of Emotion in Language Model Representations
AI 导读
研究对比七款 LLM 在 GoEmotions（27 类细粒度情绪加中性）上的预测与情绪提示末位 token 表征，发现相对细粒度分类体系存在一致的过度压缩：无标签 KMeans 聚类下最清晰的分组是正负情绪二分，更粗的情绪族与情感分组也能用更少簇恢复。但线性探针仍保留大量细粒度预测信息，说明细粒度情绪信息可及，只是无监督几何更受粗粒度情感结构主导。
推荐理由模型分析
该研究在GoEmotions的28类细粒度情绪上比较7个LLM的预测与情绪提示末位表示，发现无监督聚类更易恢复正负二分和粗粒度情绪族，而非完整28类，但线性探针仍保留较多细粒度信息。这为开发者理解情绪分类模型内部表征与输出差异提供可比较基线，也提示评测需区分可解码信息与几何组织；结论限于英文Reddit数据与KMeans协议。
来源：arXiv Artificial Intelligence · arxiv.org