ESTP框架:融合熵与语义预测LLM输出长度
热点事件持续更新
ESTP框架:融合熵与语义预测LLM输出长度
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月20日,arXiv人工智能板块刊出Feiyang Ren等作者的论文,提出名为ESTP(Entropy-and-Semantic Token Pooling,熵与语义Token池化)的轻量框架,用于改进大语言模型(LLM)的输出长度预测。报道称,ESTP将token级熵表示与基于注意力的语义表示相结合,在prefill阶段直接导出这两种表示,额外推理延迟和内存开销可忽略。在ForeLen基准测试上,ESTP在多数场景下预测精度优于基线、预测误差更低;与长度感知调度器集成后,端到端测试中整体吞吐提升、padding比例下降。目前该工作处于论文发布阶段,报道未提及代码开源、部署范围或第三方复现情况。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
ESTP:用熵与语义融合改进 LLM 输出长度预测报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- arXiv Artificial IntelligenceESTP:用熵与语义融合改进 LLM 输出长度预测
ESTP(Entropy-and-Semantic Token Pooling)将 token 级熵表示与基于注意力的语义表示结合,在 prefill 阶段直接导出两种表示,额外推理延迟和内存开销可忽略。在 ForeLen benchmark 上,ESTP 多数场景下预测精度优于基线、预测误差更低。与长度感知调度器集成后,端到端测试中整体吞吐提升、padding 比例下降。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。