ZOIF：仅前向传播的零阶影响函数估计

2026年10月15日，arXiv 人工智能板块报道，Lisong He 等作者提出 ZOIF，一种完全基于前向传播的零阶影响力函数估计框架，用于大语言模型的数据选择，以避免反向传播带来的显存开销。该方法将影响力估计拆解为三步无反向传播流程：零阶估计平均代理梯度、以辅助零阶优化求解逆 Hessian 向量积、沿参数更新方向做前向有限差分得到单样本影响力分数。实验显示，其选出的数据子集在下游效用上不逊于甚至部分超过基线，同时峰值显存显著降低，整体计算时间相当。报道称，该框架面向资源受限场景下的内存高效数据选择。截至该报道，事件仍处于论文发布阶段，尚无后续跟进报道。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。