为什么 LLM 会前后不一致？核心是经验蔟的竞争博弈

上一篇我们提出了一个关键视角LLM 的行为本质上并不是“推理”而更像是对已有经验结构的调用与组合。在这个框架下大模型的很多问题会呈现出完全不同的解释路径。其中最典型的一个现象就是前后不一致、答案摇摆很多人会把这种现象归因于模型能力不足训练不充分prompt不够好但如果从经验蔟的视角来看这些都只是表层解释。一个更贴近实际行为的理解是多个经验结构之间的相互竞争决定了最终输出的走向当我们向模型提出一个问题时往往不会只激活单一的信息来源。相反模型内部会同时唤起多种相关的经验结构。例如当我们问“如何写一篇技术文章”时可能同时涉及偏结构化表达的经验偏叙述性的写作方式偏口语化的表达习惯甚至一些不完全匹配的内容片段这些不同的经验结构并不会自动“融合为最优答案”而更像是在生成过程中彼此影响、此消彼长。可以用一个更直观的类比来理解这更像是一场“多方同时发言”的过程每一类经验结构都在“试图主导表达方向”。最终呈现出来的结果并不一定是“最合理的那个”而是在当前语境下占据主导位置的那个表达路径。一、经验蔟之间的互动一种动态过程从行为上看这种过程往往呈现出几个特征与当前问题更贴近的经验更容易被优先唤起在训练中更常见的表达方式更容易反复出现不同经验之间会产生相互影响而不是彼此独立最终的输出更像是这些因素共同作用下的一个“平衡结果”而不是一次明确的“最优选择”。二、为什么会出现前后不一致如果从这个角度看LLM 的“不稳定”就不再神秘。同一个问题在不同的表达方式、上下文环境甚至细微变化下被优先激活的经验结构可能并不完全相同当主导输出的经验结构发生变化时结果自然也会随之改变。举一个简单的例子当我们问“11等于几”时大多数情况下会得到“2”。但在某些语境下模型也可能给出类似“11王”“11一生一世”这些输出并不是“模型不会算”而是不同语义背景下不同经验结构参与了生成过程。三、关键点不是“选最优”而是“形成主导”这里有一个容易被忽略的点LLM 的输出并不一定是“筛选出最优答案”而更像是在多种可能路径中逐步形成一个主导表达方向在这个过程中有些信息会被强化有些信息会被削弱有些路径会逐渐占据主导最终输出就是这个过程的结果。四、认知上的一个重要转变如果接受这一视角那么我们看待问题的方式也会发生变化我们不再只关注模型“有没有推理能力”而会更多关注当前是哪一类经验在主导输出为什么它会占据主导不同表达方式如何影响这种变化一句话总结LLM 的不一致并不是“推理失败”而更像是不同经验结构在不同情况下主导了输出。如果这个视角成立那么一个更关键的问题就浮现出来了我们是否可以影响这种“主导关系”是否可以让某一类更可靠的经验结构更稳定地占据主导位置下一篇我们继续往前走一步讨论——在不改变模型本身的前提下我们还能做什么。