arXiv Artificial Intelligence· Mobina Kashaniyan, Ali Jannesari·· 2 小时前AI 评分31
ATEST:面向 LLM 推理的自适应资源感知测试时扩展框架
ATEST: Adaptive Resource-Aware Test-Time Scaling for LLM Inference
AI 导读
ATEST 是一个资源感知的测试时扩展(TTS)框架,同时考虑额外采样的期望值与当前 GPU 成本,默认模式 ATEST-Online 无需离线校准即可在线学习单步能耗并决定何时停止采样。
来源:arXiv Artificial Intelligence · arxiv.org