跳到正文
arXiv Artificial Intelligence· Przemys{\l}aw Spyra, Witold Dzwinel·· 19 小时前AI 评分24

无需反向传播的节能深度学习:前向算法在 NVIDIA A100 上的硬件验证基准测试

Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Hardware-Validated Benchmarking Study of Forward-Only Algorithms

AI 导读

研究在 NVIDIA A100 上对 Forward-Forward、Cascaded Forward 和 Mono-Forward 等前向算法进行近 1000 次测试,发现去掉反向传播本身并不省电:FF 能耗为 BP 的 4.1x 至 6.3x,CaFo 为 3.0x 至 7.1x。

来源:arXiv Artificial Intelligence · arxiv.org