多 LLM 系统在闭环生成中出现稳健的语义坍缩

arXiv 论文发现，多 LLM 交互系统在无需重训或更新权重的情况下会出现语义坍缩，即语义表征系统性趋同而表面词汇仍有变化，该现象跨模型家族并在 200 至 1000 轮中持续存在。研究测试了覆盖解码参数、提示设计、智能体组成、激活工程和强化学习的 13 种干预实现，均未能可靠恢复语义多样性。机制分析显示，这一现象不能仅归因于所考察的对齐或从众偏差，而与自回归生成的内在特性一致。