用稀疏自编码器追踪并验证 ESMFold 主干中的折叠机制：结构而非序列

研究用稀疏自编码器（SAE）解释 ESMFold 折叠主干的内部计算，发现单表示携带继承的语义信息、配对表示计算成对几何关系。团队用推理语言模型大规模解读字典，并通过基于梯度的归因追踪概念如何跨模块组合，再对照模型的折叠输出验证其与已知生物化学的一致或偏离之处。所训练的稀疏字典捕捉到主干在序列模型之外计算的关系几何，其概念激活还能预测模型自身的折叠质量。