取四条相似提示词的激活发现矩阵只有一个主要奇异值然后宣布模型“思维坍缩”。这个结论跳过了最关键的一层矩阵是怎样采样和预处理出来的。Anthropic 在 2026 年 7 月的 global workspace 研究中讨论特定内部表征及干预证据。低维结构可以承载有用信息不能仅凭维度少就判定能力退化。更需要问的是哪些输入、哪一层、什么方向以及改动后哪些行为发生变化。对 n 条样本组成的 n×d 矩阵秩最多是 min(n,d)先按列中心化后秩最多 n−1。只有四条样本却声称测到 4096 维表示的全部有效维度本身就不成立。数值秩还依赖阈值、激活缩放和浮点精度。下面不用额外库用消元求构造矩阵的数值秩展示“相同样本”和“多样样本”的差别。它不是稳定 SVD 的替代品。def rank(matrix, tol1e-10): a [list(map(float, row)) for row in matrix] if not a or not a[0] or any(len(row) ! len(a[0]) for row in a): raise ValueError(nonempty rectangular matrix required) r 0 for col in range(len(a[0])): pivot max(range(r, len(a)), keylambda i: abs(a[i][col])) if abs(a[pivot][col]) tol: continue a[r], a[pivot] a[pivot], a[r] scale a[r][col] a[r] [v / scale for v in a[r]] for i in range(len(a)): if i ! r: k a[i][col] a[i] [u - k*v for u, v in zip(a[i], a[r])] r 1 if r len(a): break return r same [[1, 2, 3, 4] for _ in range(4)] diverse [[int(i j) for j in range(4)] for i in range(4)] assert rank(same) 1 assert rank(diverse) 4 print(identical rows rank, rank(same)) print(independent rows rank, rank(diverse))图中另列了一组秩 1 与秩 4 的构造矩阵柱形仅示意零与非零奇异值代码改用更简单的相同行和单位矩阵便于手工核算。真实模型里重复提示、公共系统提示和 padding 都可能制造低秩结构。若拿不同模型比较还需统一样本集合、层位置、token 选择、中心化方式与谱阈值。更有解释力的实验是把谱变化与任务行为配对移除某个方向后是否影响目标任务同样大小的随机方向干预是否也产生相似损伤无关任务是否被破坏。若只是整体缩放激活让阈值以下的奇异值变多就不应宣称发现了新的认知机制。本文没有提取真实模型激活也没有做因果干预。标准库消元例子验证了采样能改变矩阵秩关于模型能力的结论仍需要独立行为测量支撑。
