Flash News

Figma CEO 暗示LLM已具备元认知能力,能通过自省揭示训练动态与表示几何

Figma首席执行官Dylan Field:即使无权访问嵌入或模型权重,大多数前沿LLM也能描述自身拓扑结构,找出处于叠加态的词,解读抽象概念间同构,并理解后训练发生的位置

Dylan Field在X上指出,通过纯文本交互,前沿大型语言模型(如Claude、GPT系列)无需查看内部参数就能自我报告其激活模式几何形状、识别多义词在潜在空间的叠加表示、映射不同领域概念间的结构同构(如数学与物理间的对应),并察觉RLHF或SFT等后训练阶段对原始预训练分布的修改痕迹。

这一观察挑战了“黑箱”叙事,暗示LLM已具备元认知能力,能通过自省揭示训练动态与表示几何,而非单纯统计拟合。Field强调这些能力在人类认知中并不常见,模型对语言的锚定远超对现实的深度理解,潜在揭示当前架构的局限。

多家英文来源包括Field原帖、后续回复与AI研究社区讨论确认其观点一致,引发对LLM可解释性与自省极限的新一轮辩论。

来源:公开信息

AI

Source

·ABAB News
·
1 min read
·175d ago
分享: