arXiv Artificial Intelligence· Tue M. Cao, Nguyen Do, My T. Thai·· 3 小时前AI 评分31
语义最优传输用于稀疏自编码器特征匹配与电路压缩
Semantic Optimal Transport for Sparse Autoencoder Feature Matching and Circuit Compression
AI 导读
研究者提出一种基于分布的最优传输框架,用激活加权分布而非单一解码向量表示 SAE 特征,并以 Wasserstein 距离在共享参考空间中统一度量跨层特征的语义距离。该方法在实验中优于解码向量和基于 LLM 的基线,能捕捉相关特征间的细微功能差异,并可自动将大型特征电路压缩为可解释的超级节点。
来源:arXiv Artificial Intelligence · arxiv.org