arXiv Artificial Intelligence· Jiawei Xiong, Cheng Tang, Hong Jiao, Hanna Choi·· 18 小时前AI 评分22
用证据中心设计指导测量中的提示词工程:以自动作文评分为例
Using Evidence-Centered Design to Guide Prompt Engineering in Measurement: An Illustration with Automated Essay Scoring
AI 导读
研究提出用教育测量中的证据中心设计(ECD)框架为提示词工程提供原则性基础,将ECD的学生模型、证据模型和任务模型映射到教育提示词设计组件,并据此推导出五条设计原则。在自动评分任务上,ECD设计的提示词与SOTA提示词基线进行了实证对比,结果表明将提示词视为测评设计而非非正式指令,可提升AI生成教育输出的效度、信度和公平性。
来源:arXiv Artificial Intelligence · arxiv.org