Dooly：面向 LLM 推理模拟的配置无关、冗余感知性能分析

Dooly 通过一次推理遍历和污点传播标注输入维度来源，只对延迟数据库中缺失的算子做性能分析，实现配置无关、冗余感知的 profiling。在两种 GPU 平台、三种 attention 后端和多种模型架构上，其 TTFT 模拟精度达 5% MAPE、TPOT 达 8%，12 个模型的 profiling GPU 小时数较现有方法减少 56.4%。