arXiv Artificial Intelligence· Tommaso Salvatori, Matteo Forasassi, Alexis Toumi, Giovanni de Felice·· 18 小时前AI 评分27
Tiny Recursive Message Passing:16k 参数模型在 Sudoku-Extreme 上达约 99% 准确率
Tiny Recursive Message Passing
AI 导读
研究将递归 Transformer 的深度监督、截断递归与离散演绎格等测试时方法用于消息传递网络,发现两者互补,可用极少参数取得高效结果。在 Sudoku-Extreme 上,16k 参数模型测试准确率约 99%,在 H100 上训练约 10 分钟,在 CPU 上约 9 小时。模型还能零样本迁移到比训练时更大的实例,在 N-queens 和布尔可满足性上以远少于主流神经基线的参数取得更优表现。
来源:arXiv Artificial Intelligence · arxiv.org