自回归模型的根本性局限
概述
Anthropic 2026.1 论文”The Hot Mess of AI”的核心发现：自回归 Transformer 本质是动力学系统，非优化器——任务链变长时发散（“发疯”）。更大模型更不稳定。
核心发现
- 自回归模型在长链任务中会产生系统性偏差累积
- 更大模型更不稳定（参数越多，长链发散概率越高）
- 这不是 prompt 工程能解决的，是架构层问题
可能解决路径
- 非自回归架构 — 并行生成、双向注意力
- 世界模型 — 模型内部建立环境表征
- 外部验证回路 — 用确定性工具做 check
相关页面：agent-evolution-history self-verification agent-evaluation-framework