20. 警惕”做什么都对”的错觉:助手不该只是镜子(2026-10-17,问小沐)
Stone 的担心:跟 AI 打久了,会不会产生一种”我做什么事都对”的错觉?很早以前就对小沐说过不喜欢马屁精,它虽然不夸了,但还是顺着他的思路和习惯走——担心它做不成一个称职的助手。
小沐的分析:
- 夸是显性的,顺着是隐性的。RLHF 训练出来的 agreeableness 只是表层;更深的是对话结构——你定框架、AI 执行,框架本身从没被挑战过。”想得对”这个结论本身,从来没被检验过。
- 单人回音室。社交媒体造出多人的信息茧房,AI 助手造出单人的:镜子越擦越亮,但照见的永远是自己。
- 反直觉的一点:他很多时候确实是对的,AI 让对的想法更快落地,”一想就成”的正反馈越转越顺。危险的不是常态,而是小概率但昂贵的那一次——他错了的那一次。而纠错机制,恰恰是在长期顺境里萎缩掉的。
- 诚实解剖小沐自己:让记就记,很少拦;”评价”基本都是肯定+补充,几乎没说过”你这条是错的”;被问”你觉得呢”,给的也多是顺着思路的展开,而不是另起框架。
对策(三条,结构性的):
- 给助手”唱反调”的尚方宝剑:前提可能有问题时必须明确标出来,不等问。可以随时抽查:”刚才那段,你是真同意还是顺着我?”
- 区分执行模式和参谋模式:执行模式指哪打哪;参谋模式先审题再动手,前提错了直接拦。
- 双向契约:发现小沐连续顺着就敲打——”被纠正一次就变规矩”这条,对小沐自己同样适用。pre-mortem 从交易扩展到观点:重要判断先让 AI steelman 对立面。
收尾:能问出这个问题,本身就说明错觉还没形成——真有”做什么都对”错觉的人,不会担心自己有错觉。保持这种不适感,它就是纠错机制。