arXiv Artificial Intelligence· Valerii Iakovlev, Markus Spanring, Martin Flechl·· 18 小时前AI 评分27
SLS-Bench:基于合成可观测性数据的事故日志摘要基准
SLS-Bench: A Benchmark for Incident Log Summarization with Synthetic Observability Data
AI 导读
研究者推出 SLS-Bench,一个面向事故日志摘要的基准,包含 90 个任务,每个任务基于真实事故报告配以合成日志流和参考摘要。其数据生成流水线将事故报告转为结构化事故模型,结合叙事锚定、生成器-验证器循环及与真实日志流的统计对比来生成可观测性数据。对 14 个 LLM 的评测显示,前沿模型能生成有用摘要但成本与延迟高,开放权重模型明显落后。
来源:arXiv Artificial Intelligence · arxiv.org