arXiv Artificial Intelligence· Marco Colombo, Balaji A Jayaram, Sowmyakumari Selvaraj, Sumit Tokkar, Animesh Kumar, Aravinda Prasad Sistla, Ravishankar Shetty, Rigel Gjomemo·· 13 小时前AI 评分26
面向 LLM 代码摘要的无参考置信度估计的集成方法
Ensemble Methodology for Reference-Free Confidence Estimation in LLM-based Code Summarization
AI 导读
该研究提出一种无需人工参考即可估计 LLM 生成 COBOL 摘要正确性的集成方法，核心思路是利用模型间语义一致性判断真实性，并用 LLM-as-judge 做成对评估。方法包含多模型受控摘要生成、输出结构化判断的 LLM 评估器，以及仅惩罚被证实的矛盾、融合支持性证据的校准聚合规则。
推荐理由模型分析
这篇论文针对无人工参考时如何评估 LLM 生成的 COBOL 摘要，提出用多模型语义一致性加 LLM 评审做两两比较，并用校准聚合规则只惩罚有佐证的矛盾。对做代码理解、遗留系统文档化和无参考评测的开发者，可参考其生成、评审、聚合三段流程及适用条件；但证据限于 9 页论文与摘要，未给出跨语言或现场代码库的验证结果。
来源：arXiv Artificial Intelligence · arxiv.org