arXiv Artificial Intelligence· Chaemin Jang, Jihee Kim, Dongman Lee·· 19 小时前AI 评分27
学到一个事实不等于学会如何检索它:请求形式与上下文状态如何影响事实检索
Learning a Fact Is Not Learning How to Retrieve It
AI 导读
研究发现,模型学会一个事实并不等于学会如何检索它。研究者分两阶段训练模型:第一阶段让一个模型以五种请求形式接触事实,另一个只以陈述句形式接触;第二阶段两者用相同的新事实(均为陈述句)训练。结果两者从陈述句中检索新事实的表现几乎相同,但在其他请求形式上差异显著。答案前的上下文状态可决定已学事实能否被检索,且该效应可跨事实与关系迁移。
来源:arXiv Artificial Intelligence · arxiv.org