arXiv Artificial Intelligence· Abhishek Malvankar, Paul Castro, Nick Mitchell, Lionel Villard·2026-10-30 12:00· 17 小时前AI 评分38

TableTune：面向动态投机解码的实测自校正草稿长度表

TableTune: Measured, Self-Correcting Draft-Length Tables for Dynamic Speculative Decoding

AI 导读

TableTune 通过实测 vLLM 服务路径上各 batch size 与草稿长度的解码耗时，在数分钟内算出吞吐最优的草稿长度表，并以 vLLM 插件形式在服务中根据实时接受的猜测数重建该表。