arXiv Artificial Intelligence· Feiyang Ren, Shengtao Wen, Yu Tian, Yuanning Cui, Xiaofeng Cao, Jiangchao Yao, Xu Chen, Xiang Chen·· 3 小时前AI 评分26
ESTP：用熵与语义融合改进 LLM 输出长度预测
When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction
AI 导读
ESTP（Entropy-and-Semantic Token Pooling）将 token 级熵表示与基于注意力的语义表示结合，在 prefill 阶段直接导出两种表示，额外推理延迟和内存开销可忽略。在 ForeLen benchmark 上，ESTP 多数场景下预测精度优于基线、预测误差更低。与长度感知调度器集成后，端到端测试中整体吞吐提升、padding 比例下降。
来源：arXiv Artificial Intelligence · arxiv.org