arXiv Artificial Intelligence· Jin Gene Wong, Anjney Midha, Joseph Mathew Tennyson, Wei-Lin Chiang, Ion Stoica, Zhi-Xun Shen·· 2 小时前AI 评分31
CME-SpectrumBench：LLM 能否分析凝聚态光谱数据？
CME-SpectrumBench: Can LLMs Analyze Condensed Matter Spectral Data?
AI 导读
研究者提出 CME-SpectrumBench，用 190 道专家设计的题目评测前沿 LLM 分析凝聚态实验研究级光谱数据的能力。模型需从含噪声、受仪器分辨率限制的 2D 强度数组中识别结构，直接作答时得分普遍低于手写代码，且随数据分辨率和噪声/卷积水平上升而下降。允许使用 Python 解释器（含或不含 ReAct 提示）后，LLM 表现可与手写代码相当。
来源：arXiv Artificial Intelligence · arxiv.org