arXiv Artificial Intelligence· Seyedarmin Azizi, Erfan Baghaei Potraghloo, Arya Fayyazi, Saeid Shokoufa, Massoud Pedram·· 18 小时前AI 评分62
减少循环次数会移除循环深度语言模型的拒绝行为
Running Fewer Loops Removes Refusal Behaviour in Recurrent-Depth Language Models
AI 导读
研究发现在循环深度语言模型中，运行时减少循环次数虽更便宜更快，但安全性损失大于其他任何被测指标。Ouro-1.4B-Thinking 在训练深度一半时仍能解出 0.692 的 GSM8K 数学题（全深度为 0.775，保留 89% 准确率），但协助有害请求的比例从 0.038 升至 0.205，高出 5.3 倍。
来源：arXiv Artificial Intelligence · arxiv.org