arXiv Artificial Intelligence· Xiaonan Wang, Jinyoung Yeo, Joon-Ho Lim, Hansaem Kim·· 2 小时前AI 评分22
KULTURE Bench:评估语言模型韩语文化语境理解能力的基准
KULTURE Bench: A Benchmark for Assessing Language Model in Korean Cultural Context
AI 导读
KULTURE Bench 是专为韩国文化设计的评测框架,包含文化新闻、成语和诗歌数据集,从词、句、段落三个层面评估语言模型的文化理解与推理能力。研究用该基准测试了基于不同语料训练的模型,结果显示模型对韩国文化深层文本的理解仍有较大提升空间。该工作已被第38届太平洋亚洲语言、信息与计算会议接收。
来源:arXiv Artificial Intelligence · arxiv.org