arXiv Artificial Intelligence· Aniruddha Roy, Jyoti Patel, Aman Chadha, Vinija Jain, Amitava Das·· 19 小时前AI 评分27
AlignMerge:通过 Fisher 引导几何约束实现对齐保持的大语言模型合并
AlignMerge - Alignment-Preserving Large Language Model Merging via Fisher-Guided Geometric Constraints
AI 导读
AlignMerge 是一个几何感知的大语言模型合并框架,将对齐作为显式不变量,在 Fisher 局部坐标中估计对齐子空间并优化几何、对齐与预算三项损失。
来源:arXiv Artificial Intelligence · arxiv.org