arXiv Artificial Intelligence· Debarpan Bhattacharya, Malay Phadke, Sriram Ganapathy·· 13 小时前AI 评分31
BiG-SURE：用二分图估计 LLM 与 VLM 的语义不确定性与可靠性
BiG-SURE - Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs
AI 导读
BiG-SURE 是一种面向黑盒 LLM 与 VLM 的不确定性估计器，通过跨温度语义一致性构建锚点-探针二分图，并以归一化平方谱能量定义置信度、其补集即为不确定性。在文本 QA、多语言 QA 和多模态 QA 任务上，该方法相对已有黑盒不确定性估计器提升了平均弃答 AUROC，且保持简单、无监督、适用于黑盒模型设置。
推荐理由模型分析
BiG-SURE 针对黑盒大模型与视觉语言模型在安全关键场景中的不确定性估计，用低温回答作语义锚点、高温回答作探针，在保义输入变换下以 NLI 蕴含分数构建二部图，并用归一化谱能量定义置信度。实验覆盖文本、多语与多模态问答，报告其平均弃答 AUROC 优于既有黑盒估计器，且保持无监督、无需模型参数。适合需要拒答或风险过滤的部署方参考，但证据限于论文所列任务与模型，实际阈值与跨域表现仍需自行验证。
来源：arXiv Artificial Intelligence · arxiv.org