arXiv Artificial Intelligence· Jonas Oppenlaender, Johanna M. Silvennoinen·· 13 小时前AI 评分31
AlienBench:语言模型输出结构新颖性基准
AlienBench: A Benchmark of Structural Novelty in Language Model Outputs
AI 导读
AlienBench 将认知心理学的结构化想象任务适配到语言模型:模型描述外星生物,由三个 LLM 评委提取十项生物特征并标注是否为地球典型或偏离,偏离数即 0-10 分。
推荐理由模型分析
AlienBench 把认知心理学中“想象外星生物”的结构化想象任务改造成语言模型创造力评测:以地球动物特征为已知默认,用三名 LLM 评委抽取十项生物特征并判定是否偏离,给出 0–10 分,并公开提示词、生成结果与评分。它针对的是现有新颖性评分缺乏固定参照的瓶颈,为开发者提供了可复现的基线,便于比较不同模型在六种提示条件下的偏离程度。需注意评分依赖 LLM 评委,且“偏离地球默认”只是新颖性的一种代理,不等同于创造力或实用价值。
来源:arXiv Artificial Intelligence · arxiv.org