用 LLM 激活值测量文本概念含量：ESG 金融文本上的概念向量与线性探针对比

研究比较了 RFM 概念向量与线性探针从 LLM 激活值中提取概念的效果，在人工标注的 ESG 金融文本数据集上，最佳线性探针准确率比微调的领域分类器低 0.6 至 3.3 个百分点，但在所有对比中都优于模型自身回答，也全面胜过 RFM 概念向量。在合成混合测试中，线性探针的均值池化得分比概念向量得分更能跟踪段落中概念句的数量。