arXiv Artificial Intelligence· Syed Usama Khalid Bukhari, Syed Safwan Khalid, Muhammad Aamir·· 2 小时前AI 评分31
System X:一种直接从自身 KV cache 回复的 LLM 决策模型
System X: An LLM Decision Model That Replies from Its Own KV Cache
AI 导读
System X 在 LLM-as-Jev 读出中加入文本回复选项,该选项胜出或置信度低时,同一模型从决策的 KV cache 继续生成,避免重复 prefill。
来源:arXiv Artificial Intelligence · arxiv.org