arXiv Artificial Intelligence· Przemys{\l}aw Spyra, Witold Dzwinel·· 19 小时前AI 评分24
无需反向传播的节能深度学习:前向算法在 NVIDIA A100 上的硬件验证基准测试
Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Hardware-Validated Benchmarking Study of Forward-Only Algorithms
AI 导读
研究在 NVIDIA A100 上对 Forward-Forward、Cascaded Forward 和 Mono-Forward 等前向算法进行近 1000 次测试,发现去掉反向传播本身并不省电:FF 能耗为 BP 的 4.1x 至 6.3x,CaFo 为 3.0x 至 7.1x。
来源:arXiv Artificial Intelligence · arxiv.org