跳到正文
arXiv Artificial Intelligence· Chi-Lam Poon, Michael Goneos, Zezheng Song, Xi Chen·· 17 小时前AI 评分34

LibStructBench:评估并改进 AI 智能体对测序协议的理解

Evaluating and improving AI agents for sequencing protocol understanding

AI 导读

研究团队提出 LibStructBench,一个基于文档的基准,用于评估 AI 智能体能否从测序协议中精确重建测序文库结构和分子工作流。实验显示前沿智能体常给出近似正确的重建,但在分子状态表示和工作流连接性上仍不可靠;更换底层语言模型带来的平均性能差异大于更换智能体框架,且仅在分子状态重建上具有统计显著性。额外知识在小规模试点中提升了 oligo 家族恢复率,但未提高分子工作流平均分。

来源:arXiv Artificial Intelligence · arxiv.org