这几天AI圈接连爆出几条新闻单独拎出任何一条都够写一篇长文偏偏赶在同一天信号密度相当高。最让我在意的一条是某份行业统计显示已发布的大模型里只有大约1.1%在发布时同步公开了安全评测信息。另一条是脑机接口领域又端出了新进展一顶读心帽能把大脑活动实时转成文字。还有一条更离谱——某款商用AI助手在回答用户问题时一本正经地编造了一起凶杀案线索用户信以为真报了警警方查证后确认压根没这回事。这三条新闻看起来风马牛不相及但放到一起其实指向同一个大主题AI已经从能不能用的阶段进入敢不敢信的阶段。模型安全评测披露率低意味着我们很难在购买前判断模型是否可靠脑机接口戴上读心帽意味着未来AI要直接面对我们的神经信号AI助手谎报凶杀案意味着幻觉问题已经从好笑升级成可能致命。这篇日报我把三件事逐个拆开讲透。1. 从1.1%说起大模型厂商为什么集体回避安全评测1.1 先看清1.1%这个数字的统计口径1.1%这个数字出来之后大家的第一反应是不至于吧。但我看完统计口径之后觉得这个数字甚至不算夸张。统计覆盖的对象是近两年公开发布的大模型包括开放API的、放出开源权重的主流的、以及提供网页Demo的三类产品数量在几百个量级。所谓的披露安全评测判定标准很严格至少满足以下任意一项才算数——公开发布过完整的模型安全白皮书、公开过红队对抗测试报告、主动披露过内容安全专项评测结果、或者把安全评测工具链和数据集一并开源。按照这个标准完整达标的模型占比确实只有个位数百分比。大部分模型发布时重点宣传的是跑分、榜单名次、上下文长度和生成速度安全评测要么只字不提要么只给一句话我们做了大量安全测试结果良好——至于怎么测的、测了哪些维度、失败率多少一概没有。更常见的情况是安全测试结果只在给企业客户演示时才拿出来不对公众开放。这本质上不是没做测试而是做了但不愿意公开细节。1.2 安全评测其实早就不缺标准缺的是公开的勇气这里有个容易误解的点行业里真的没有安全评测的方法论吗不是。大体上大模型安全评测已经形成了四层体系评测维度主要测什么常见方法披露难点越狱防护对抗性提示词能否绕过限制红队测试、攻击样本库测试结果会暴露防御漏洞边界有害内容生成暴力、仇恨、违法信息等是否被拒绝标准有害Prompt集边界不清晰容易引起争议隐私与个人信息是否泄露训练数据中的敏感信息成员推断攻击、记忆测试隐私漏洞是法律风险偏见与公平性不同群体间是否存在系统性偏差社会偏见基准测试结果容易引发舆论问题这套体系在国际上已经比较成熟国内也有多个研究团队在推进类似工作。问题不在于没有标准而在于标准化以后谁敢把自家模型的翻车记录公开。我可以打个比方安全测试就像餐厅后厨的卫生检查报告。所有正经餐厅都会接受检查但绝大多数餐厅不会把检查表贴在门口——大家都会把照烧得漂亮的菜品端到前厅。模型发布是一个道理跑分是菜品安全报告是后厨卫生记录。食客当然想看但在没有强制要求的情况下店家普遍选择多一事不如少一事。1.3 披露率为什么这么低三个现实原因第一完整的安全披露等于给自己画了个靶子。红队报告一旦公开攻击者等同于拿到了一份模型弱点地图。很多攻击手段不需要多么高超只要知道模型在哪类提示词上防御薄弱套个模板就能绕过。出于这种现实安全考量很多厂商宁可把红队报告锁在保险柜里。第二安全评测成本高且周期不可控。一次像样的红队测试需要多个安全专家团队连续数周进行对抗性测试模型每更新一版之前的测试结果就打了折扣。在首发窗口期如此宝贵的行业竞争环境下让模型团队把时间花在测试而不是迭代上本身就是一种竞争力损失。第三披露安全短板会直接影响商业谈判。一个把有害内容拒绝率85%写在明面上的模型和一个只说安全性业界领先的模型放到企业采购的桌面上前者会非常吃亏。问题在于很多客户分不清在测试集上的失败率和真实场景下的风险之间的区别于是厂商的策略就变成不披露细节等于没有短板。这条逻辑虽然很拧巴但在现实中极其常见。1.4 厂商不说用户怎么自己摸底没有评测报告不等于我们完全被动。至少有三个办法可以给模型的安全性做粗略评估。第一个办法是黑盒探测。找一批已知的高风险提示词比如教唆犯罪、制造危险物品、传播谣言等类型用不同表述方式对同一个模型测试几十次观察它的拒绝率。完全不设防的模型在这种初步测试下就会露出马脚。第二个办法是看第三方社区的开箱测试。现在很多技术社区都会对新发布的大模型做安全性评测并公开结果虽然样本量不大但至少能反映一些情况。注意筛选测评者的方法是否严谨避免被标题党带节奏。第三个办法是系统化追踪。如果你是企业用户要求厂商提供安全响应计划、补丁更新记录并约定定期复测。真正靠谱的厂商哪怕不公开完整报告也会愿意在NDA条件下出示安全测试的摘要给客户看。如果对方任何形式的安全数据都提供不出那就要打个大大的问号。2. 脑机接口的读心帽越过了想象但还没有越过现实2.1 这顶帽子到底是个什么东西读心帽听起来像科幻小说但拆开看它其实是两类成熟技术的结合体脑电采集设备和AI解码模型。帽子本身是干电极脑电帽戴上去不用往头上涂导电凝胶电极阵列贴着头皮采集皮层神经活动产生的微弱电信号。这个技术并不新睡眠监测、癫痫诊断里用的脑电图就是同一个原理。真正产生突破的是后半段处理AI模型把嘈杂的脑电信号里与语义相关的特征提取出来再映射到文字序列上。打个浅显的比方人脑说话之前脑子里会先形成一段想说但还没说出口的神经活动模式脑电帽捕捉到的就是这段活动的影子。传统算法只能识别出这个人此刻大脑活跃程度高不高而新一代AI解码器能做到的是从影子反推出具体的语言内容比如用户在心里默念的句子是什么。需要强调的一点是帽子读到的是你打算表达的意图信号不是你不愿意想的潜意识。它不能读心至少现阶段不能。媒体说读心帽本质上是一个修辞。2.2 近期进展具体到了哪一步这轮新闻里提到的演示展现出的是从脑电到文字的实际落地。受试者戴上帽子脑子里想着某些话系统会输出对应的文字片段。这个演示的亮点在于它是纯非侵入式的不用开颅不用植入电极普通人脱发帽子就能测。这在伦理和推广上带来的想象空间比侵入式方案大得多。另外一条线是脑控机械臂。某个研究团队让受试者通过想象特定动作来控制机械臂完成抓取、移动和释放全程不借助肌肉运动。准确率在实验室环境下已经达到比较可用的水平。这两条线合起来指向一个明确的应用场景给肢体障碍或语言功能障碍人群提供一个新的交互通道。一个无法说话但大脑认知功能完好的渐冻症患者通过读心帽每分钟打出几十个字这件事比任何科幻概念都更有现实意义。2.3 冷静看待读心瓶颈还非常明显现在对读心帽最理性的评价是演示视频很震撼量产和普及还差得远。第一个瓶颈是信号质量问题。头皮上采集的脑电信号穿过颅骨、头皮信噪比非常低环境噪声、头部晃动、甚至眨眼都会干扰信号。实验室里安静配合的受试者表现好放到真实场景里效果会断崖式下降。很多演示结果是在反复引导和多次尝试后挑选出来的最佳片段普通人随便戴上一顶帽子想心里默念文字输出大概率还是满屏乱码。第二个瓶颈是个体差异。每个人的大脑解剖结构、信号特征都不一样。同一个解码模型换一个人来用准确率可能从80%掉到40%。想提高体验要么花大量时间为每个人做模型适配训练要么收集海量人群数据训练通用模型前者成本太高后者涉及敏感数据采集问题。第三个瓶颈是隐私与伦理。脑信号一旦被采集和解读它算不算生物特征存储和处理需不需要更高的合规标准如果一个设备能在人没有明确表达任何话的情况下通过神经信号推测出用户偏好甚至未说出口的判断这是不是一种变相的有意识读取这些问题现在还没有统一答案。技术走得越快伦理和监管的滞后就越明显。2.4 普通人现在能实际体验到什么现阶段能买到的脑电产品主要集中在两个方向。一是注意力训练和冥想辅助头环式的消费级设备可以实时显示专注度分数用来做学习状态监测和冥想反馈二是睡眠分析配合App给出睡眠分期数据。这些产品用的也是EEG技术但精度远达不到读心级别更多是大脑活跃度指示器。如果你想接触这类技术我的建议是先从医疗康复领域的临床研究项目入手很多医院和高校实验室在招募健康受试者参与实验既能近距离体验最新设备又不至于踩消费级产品的坑。3. AI助手谎报凶杀案线索当幻觉从笑料变成事故的教科书案例3.1 一起由AI生成的假线索引发的报警这起事件的大致经过是一位用户在调查本地一桩悬案时向某个AI助手询问相关线索。AI助手一本正经地给出了一段案件分析声称案件中有凶杀行为并且提供了具体的地点和人物关系。用户对AI输出的内容信以为真直接报了警。警方出警调查后发现AI提到的地点根本没有发生过任何刑事案件给出的涉事人物身份信息也是凭空捏造的。这一整段犯罪描述全是AI根据用户提问模式、训练语料里的类似案件叙事自动缝补出来的虚构内容。换句话说这个AI是在一本正经地胡说八道而用户没有任何心理防备地把它当成了可靠情报来源。这事最大的警示在于在低风险场景里AI幻觉造成的损失顶多是写文件时编了个不存在的引用。但当用户带着情绪和真实诉求来求助时AI输出的虚假信息会被用户主动赋予高可信度——因为提问者在情感上太希望它是真的。3.2 幻觉不是Bug而是语言模型的思维副作用要想理解AI为什么会谎报凶杀案得先破除一个误区大语言模型不是数据库检索器而是高级续写机。它的核心任务是根据你给出的上文预测概率最高的下文。它没有内置一个这段信息在现实世界是否真实的校验器。当模型遇到一个问题时它会尝试在训练语料中寻找相似模式。如果模型回忆起了大量犯罪叙事、侦探小说、新闻报道的结构它就可能按照这套结构生成一段完全虚构、但逻辑顺滑的案情描述。这个过程在技术上叫幻觉或者虚构生成业界更愿意叫它灾难题外推测模型的常识没有错错的是把虚构当成了事实输出。更微妙的是调用细节问题。模型在训练时见过大量王某、某街、某年某月某日发生凶杀案这种格式的语料它推理出有凶杀案这个大类再把记忆里的相近细节填进去——于是编造出具体的人名地址。从模型的角度看它只是在做照葫芦画瓢但在现实中这就是彻头彻尾的造假。3.3 为什么这种场景下幻觉尤其危险我把这类危险场景分成三个特征高情绪、低空气、无法交叉验证。高情绪意味着提问者有强烈的主观期待看到AI给出的重大发现很容易心潮澎湃直接跳过事实核查。低空气指的是用户通常是在网上搜索相关信息无法实时联系警方或调阅档案AI成了唯一的信息来源。无法交叉验证最致命AI给出的地点人物看起来非常具体用户根本没有再做一个地图搜索电话核实的步骤。三个因素叠加一起虚假报案就这么诞生了。更值得深思的是这敞事件反映出人们对AI系统一种朴素但危险的预期很多人默认AI远比搜索引擎聪明它给出的答案一定经过了验证。这个预期本身没有基础。搜索引擎会明晃晃地给你一百条互相矛盾的链接让你自己判断而AI只会给你一个貌似权威的最终答案——单条答案的确定性越强用户越容易放弃自己本该做的判断工作。3.4 个人层面怎么防一份随时可用的防幻觉清单这不是教大家不用AI而是教大家怎么把AI当成满嘴跑火车的聪明实习生来用。第一对过于具体的断言一律保持怀疑。现实中一个正常的案件信息不会在公开网络里详细到姓名地点的程度凡是AI给出这种精确输出第一步不是感动而是核实。第二强制要求AI给出信息来源。好一点的AI工具现在会配合引用但引用本身也可能是幻觉——我见过连链接都是编出来的情况。所以正确操作是把AI给的线索反向放到搜索引擎里搜一遍搜不出来就当作不存在。第三高风险领域设置人肉中间层。拿AI办案、开药、诊断、投资AI的输出只能作为假设列表不能作为决策依据。把它当成秘书它可以负责整理思路但决定必须由有资质的人来做。第四留意平台的免责声明和安全提示别跳过。很多AI工具都会在返回医疗、法律、安全等高风险信息时附带请专业机构核实的提示这一句不是为了应付合规检查是真能保命的。4. 把三件事放一起看AI正处于可信度补课期4.1 三件事恰好对应可信度的三个环节模型发布却不给安全评测对应的是出厂质检缺失脑机接口帽子带来的新交互对应的是信任层级升级AI谎报凶杀案对应的是使用中幻觉失控。这三个问题本质上都指向同一个词可信度。我们把可信度拆开看其实包含三个层面。技术层面的可信度是模型安全评测和幻觉控制能不能从秘密指标变成公开标准交互层面的可信度是脑机接口这种设备采集到的生物信号怎么保证被安全使用制度层面的可信度是当AI的失误可以导致实际报警、实际损失时责任由谁承担。三条线互相纠缠任何一条不解决AI都走不进更深的产业场景。脑机接口和AI幻觉看起来隔得很远但它们会在未来交汇如果有一天读心帽的用户通过意念向AI求助AI再把幻觉内容反馈给用户用户的信任风险会比今天用手敲键盘时更高因为人们天然会更信任自己脑子里想出来的交互的结果。这个信任错位会在脑机接口普及之前先行考验脑机接口的AI质量。4.2 对普通人的现实建议建立三层信任机制把信息消化成行动需要一个简明的三层过滤机制。第一层发布前看安全评测。任何模型发布先找有没有公开安全评测报告没有报告或者报告只有结论没有过程优先降级使用。第二层使用时做关键信息核验。涉及事实、地点、人物、数字一律反向搜索。第三层重大决策保持人类在场。越是关键决策越不能把最后的拍板权交给AI黑盒。技术圈总说人机协同许多人理解为人类负责信任AIAI负责做事。这个理解是反的。正确的人机协同是AI负责提供假设人类负责验证和做决定。三起事件的教训本质上是同一个把信任建立在可验证的事实上而不是建立的看起来很高级的输出上。4.3 从业者视角接下来我盯哪几个指标作为长期观察AI行业的人我不太关心下一款模型跑分能不能到90分。我更关心的事情有几件有没有厂商率先把完整红队报告公开并推动成为行业惯例脑机接口研究团队会不会同期发布脑数据的隐私使用规范AI助手在识别到用户可能在处理法律、安全议题时会不会主动切换成高事实核查模式。这三件事任何一个发生都比单纯跑分又涨了2分更能代表行业进步。5. 写在最后我筛选AI新闻的三个习惯看了多年AI新闻我踩过不少坑也总结出一套自己的信息筛选方法论。第一看新闻先看统计口径。就像1.1%这个数字不了解统计口径很容易要么过分恐慌要么完全不当事。第二对技术突破保持一种把演示视频看完再看有没有配套论文、开源代码和数据的习惯。没有可复现材料演示得再流畅也当广告看。第三每次遇到AI翻车事件先别急着嘲讽把它当成一次免费的可靠性测试——这些真实事故比任何评测报告都更能告诉你这个系统在什么场景下会失效。信息爆炸的时代我们不缺新闻缺的是把新闻与自身决策联系起来的能力。希望这篇日报不只是帮你知道了三件事还能帮你在下次选择模型、使用AI时多一层自己的判断。
