arXiv Artificial Intelligence· Oguzhan Baser, Elahe Sadeghi, Eric Wang, Nico Vergauwen, Sam Kazemian, Hong Kang, Sandeep P. Chinchali, Sriram Vishwanath·· 2 小时前AI 评分34
TensorCommitments：面向大语言模型的轻量级可验证推理方案
TensorCommitments: A Lightweight Verifiable Inference for Large Language Models
AI 导读
TensorCommitments（TCs）是一种张量原生的推理证明方案，用多元 Terkle Trees 将 LLM 推理绑定到防篡改的承诺标签上，使服务方无需重跑模型即可向客户端证明推理执行正确。在 LLaMA2 上，TC 仅增加 0.97% 的证明方时间和 0.12% 的验证方时间，对定制攻击的鲁棒性比此前需要验证方 GPU 的最佳方案最高提升 48%。
来源：arXiv Artificial Intelligence · arxiv.org