大语言模型中的马尔可夫生成链

研究将 LLM 反复处理文本的迭代推理过程定义为马尔可夫生成链，每一步仅以特定提示词模板和上一步输出为输入、不含任何先前数据。在迭代改写与往返翻译实验中，输出要么收敛到小型循环集合，要么在有限范围内持续生成新句子。句子级马尔可夫链建模与模拟数据分析显示，该过程会依温度参数和初始输入句子等因素增加或降低多样性。