跳到正文
arXiv Artificial Intelligence· Kaihua Qin, Dawn Song, Arthur Gervais·· 13 小时前AI 评分32

SCDBench:面向 LLM 智能合约反编译器的基准测试

SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers

AI 导读

SCDBench 是面向 LLM 智能合约反编译的数据集与评测方法,含 600 个真实 Solidity 合约及其字节码、基准源码和可重放语义检查点,按格式完整性、可编译性、ABI 恢复和差分重放语义一致性四阶段累积评测。

推荐理由模型分析

SCDBench 把智能合约反编译评测拆成格式完整、可编译、ABI 恢复和差分重放语义一致四个累积阶段,用 600 个真实合约和可重放检查点替代以往窄数据集与不一致指标。结果显示前沿模型常能产出可编译 Solidity,但最佳仅 42/600 完全语义一致,说明“看起来对”不等于语义正确;同模型编译修复能以较小额外成本提升表现。做 LLM 代码生成、合约安全审计或反编译工具的人可据此设定基线与验收条件,但结论限于零样本设置和该数据集。

来源:arXiv Artificial Intelligence · arxiv.org