arXiv Artificial Intelligence· Lan Wu, Bruce Changlong Xu·· 3 小时前AI 评分42
机器学习中的行为一致性:用 kernel contracts 约束推理内核漂移
Behavioral Consistency in Machine Learning
AI 导读
相同权重在不同执行程序下会产生不同的下一 token 分布,训练用高精度累加与固定张量形状,而服务端用低精度算术、融合注意力内核、分页 KV cache 和动态批处理。
来源:arXiv Artificial Intelligence · arxiv.org