把 GPT-6 Astra 操作电脑的过程放慢了看，会发现它在绝大部分时间里并不在"看屏幕"。问题里那个猜测——逐帧的视觉理解——其实是最不划算的那条路：让多模态模型每做一步就重新编码一张 1080p 截图、再等一轮推理，慢和贵都写在流程里。Astra 的主通道是一套比深度学习古老得多的基础设施：操作系统为视障用户准备的无障碍接口（Accessibility API）。这不是临时起意的路线选择。回顾一下问题里提到的两段历史，游戏外挂读内存变量，浏览器 Agent 读页面源码，它们的共同点是从不依赖像素，而是在像素之下找一层更结构化的信息。桌面应用同样存在这样一层，就是各家操作系统为读屏器（screen reader）准备的接口：Windows 上叫 UI Automation（UIA），Vista 时代引入，更早还有 MSAA；macOS 上是 AXUIElement 那套 Accessibility API；Linux 下是 AT-SPI。这套接口有二十多年的历史，初衷是让盲人用户能"听"懂界面——所以它天然地把每个界面元素拆成了控件类型、名字、坐标、启用状态这些字段。读屏器需要什么，Agent 就需要什么。这层接口到底给模型提供了什么，值得在真机上量一量。我在这台 Windows 11 机器上用 Python 的 uiautomation 库遍历了记事本（Win11 新版）的控件树，61 个控件，遍历耗时 0.14 秒。把结果序列化成文本，摘录几行：[Window] rect=[0,0,1936,1048] [TabItem] rect=[50,8,246,32] [MenuBar] aid="MenuBar" rect=[6,40,168,32] [MenuItem]
