跳到正文
arXiv Artificial Intelligence· Syed Usama Khalid Bukhari, Syed Safwan Khalid, Muhammad Aamir·· 2 小时前AI 评分31

System X:一种直接从自身 KV cache 回复的 LLM 决策模型

System X: An LLM Decision Model That Replies from Its Own KV Cache

AI 导读

System X 在 LLM-as-Jev 读出中加入文本回复选项,该选项胜出或置信度低时,同一模型从决策的 KV cache 继续生成,避免重复 prefill。

来源:arXiv Artificial Intelligence · arxiv.org