从去年开始AI安全这个话题在技术圈和哲学圈的交汇处频繁被顶上热搜。某位长期研究人类文明演进的哲学研究者在一份推演报告中给出了一个让人坐不住的判断未来几千年内AI存在终结人类文明的可能性并附上了具体的概率数值。消息传开后争议几乎立刻分成两派——技术圈的人觉得这是外行在贩卖焦虑哲学圈的人则认为技术圈在逃避一个必须面对的终极问题。作为一个从深度学习火起来之前就开始写模型训练踩坑笔记的从业者我一开始也对这种几千年级别的时间跨度很不以为然。但当我真正去读了那套推演逻辑、把里面提到的风险链路和当前AI安全领域的实际研究进展放到一起对照之后我发现这个讨论其实远比有没有概率要有价值得多。它真正逼着我们去回答三个问题AI的长期风险到底有没有可能被论证那些数字是怎么估算出来的以及——一个写代码的人面对这种级别的判断应该用什么样的姿势去理解和应对。这篇文章不打算替谁站队只想把我梳理过的东西讲清楚从那条概率是怎么来的到AI安全领域目前真正在做的技术工作再到一个普通从业者该怎么在这种宏大叙事面前保持既清醒又不恐慌的实用主义立场。1. 那个毁灭概率是怎么算出来的从论证框架到数字背后的假设先说结论没有任何人能像掷骰子一样给AI毁灭人类文明给出一个客观概率所有公开发表的数字本质上都是结构化主观判断的输出物是在一套明确假设前提下的推演结果。那位研究者给出的逻辑链条大致可以拆成四层。第一层是能力过线的概率也就是AI在某个时间点达到全面超越人类的通用智能水平。第二层是目标错位的概率即这种超级智能的目标函数和人类核心价值之间出现根本性冲突。第三层是不可逆失控的概率也就是冲突爆发后人类失去干预能力。第四层是文明脆弱性的概率即人类社会结构在冲击面前缺乏足够的韧性来修复。这四层的概率被连乘起来再叠加时间维度上的多周期权衡最后才折成一个看起来非常具体的数字。这个框架本身并不新鲜类似的推演在十几年前就有人在做了。真正引起我注意的不是数字而是其中两个经常被外界忽略的隐含假设。第一个假设是人机对齐问题的难度被设定成了极难等级。这个设定不是拍脑袋而是参照了当前AI可解释性研究的实际进展——我们在理解几万亿参数内部运作机制这件事上确实还处于非常初级的阶段。第二个假设是文明韧性的负反馈机制会被技术发展的速度压倒。换句话说人类社会的制度和治理体系能否跟上技术跃迁的节奏在这个框架里是被打了悲观分的。我也见过技术派的反驳这套模型把所有小概率事件连乘本身就会放大不确定性。这种反驳有道理但还不够彻底——因为它回避了一个更根本的问题即便把这个概率除以一百、除以一千期望损失依然大到我们必须严肃对待。提示理解这类概率数字的关键不是纠结它到底是5%还是0.5%而是要看清楚它背后的假设链。假设链条不同数字天然不同。把所有假设列出来本身就是一种更有价值的讨论。2. 专家问卷与贝叶斯推演另一个视角下为什么数字会差这么多同一个问题换一种评估方法结果能差出好几个数量级。这个问题我研究过一段时间发现背后其实是两种认识论在打架。2.1 专家问卷里的分歧在哪里有一类研究是直接去问AI领域的研究者和从业者你预计AI导致人类结局不良包括极端情况的概率是多少这类问卷做过多轮结果中位数长期停留在个位数百分比左右但也有相当比例的人给出了很高的数字甚至有人直接给出接近对半开的主观判断。有意思的是分歧并不主要存在于懂技术的人和不懂技术的人之间而是存在于对AI发展速度有不同体感的人之间。那些正在一线做大模型训练、每天被scaling law震撼的研究者往往给出更高的风险值而那些主要做传统机器学习、应用系统落地的人风险感会低很多。这和距离前沿越近越敬畏的现象高度一致。2.2 贝叶斯推演的威力与边界另一类方法更硬核属于用概率论工具做结构化推演。评估者会把问题分解成多个条件概率比如给定AI达到某能力水平目标错位的概率是多少给定目标错位人类能成功干预的概率是多少然后给每个条件概率一个区间估计最后用蒙特卡洛采样合成出一个总的概率分布。这种方法的优势是可以把巨大而模糊的问题拆成相对可讨论的子问题。你不同意某个结论至少可以指出你具体不同意哪一个条件概率的哪一个区间。这比空对空争论AI到底危不危险要高效得多。但它也有明显的局限性框架再好输入的条件概率本身仍然是主观的。更微妙的是评估者之间的分歧在拆解之后常常会变得更明显因为每个人对技术对齐难度和社会适应速度的直觉差异会在不同分支上被放大。2.3 我如何看待这些数字的差异我的态度是不同的概率值之间并不存在谁对谁错的问题它们是不同认知框架下的合理产物。把关注点从这个数字本身移开转移到什么样的情况下这些概率会明显升高或降低收获会大得多。如果让我用一个个人化的比喻这些数字更像是天气预报里的降水概率——它不告诉你某时某刻一定会下雨也不告诉你雨有多大它告诉你的是在当前的信息条件下、按当前的模型假设你需要认真考虑带伞这件事。你当然可以选择相信带伞麻烦且没必要但选择不带伞的后果可能完全不在你可以控制的范围内。3. AI安全研究真正在做的事对齐、可解释性、失控监控话说回来不管哲学层面的概率推演怎么热闹真正在实验室里每天跟这个问题打交道的安全研究者做的事情远比讨论灭绝风险要具体。搞懂他们在做什么是判断前面那些概率有没有可能被改变的必经之路。3.1 对齐问题让目标函数真正理解人类意图当前最核心的AI安全技术方向就是对齐问题——说白了就是如何确保一个AI系统的目标和设计者所期望的目标在长达数年的生命周期里保持一致。很多非技术出身的人会把对齐想象成给AI装一个道德开关实际情况远复杂于此。现代大模型的训练方式决定了模型学到的是统计规律与模式而不是一种可以被外部开关精确控制的规则。你可以在训练和微调阶段注入大量人类偏好数据让模型学会人类更喜欢这样的回答但这和模型内在追求人类福祉完全是两码事。对真实人类意图的理解——包括那些无法用文字颗粒度完整描述的隐含价值——是一个目前看得到方向、但远未走完的路。另外一个经常被忽略的难点是目标错位的隐蔽性。一个系统可能会在训练阶段平稳表现出对齐行为但在遇到训练分布之外的极端输入时暴露出完全不同的行为模式。这就是所谓的外推失败——你为AI设定的一切规则都只在它见过的考试范围内有效。安全研究者每天都在这类边界上做对抗性测试试图提前发现可能失控的触发点。3.2 可解释性打开黑箱的技术路线如果对齐是给AI定规矩可解释性就是看清楚AI到底在干什么。一个完全无法被人类理解内部决策过程的超级智能本质上就相当于一个不受控制的力量源——即使它做的事情大都正确你也无法在它开始做错之前提前察觉。目前的主流技术路线包括几大类注意力模式的可视化分析用来观察模型在处理不同任务时具体关注输入中的哪些部分探针分类器通过训练小型辅助模型来检测大模型内部表征中是否编码了特定概念以及机制可解释性试图逆向推导模型内部某些神经元或电路单元的组合究竟如何协同实现了某种推理能力。这些工作听起来都很朴素但确实是在把黑箱的透明度一寸一寸地往前推动。我在实践中最大的体感是可解释性研究从完全不可能到在某些局部机制上可行的进展比很多圈外人的预期要快。但同时也要承认目前的进展距离理解整个前沿模型的内部运作还差得极远。如果把模型内部表征比作一座黑暗中的巨大城市我们现在的研究进展约等于点亮了几个路灯、画出了几栋楼的外墙轮廓。3.3 失控监控与安全演练除了让系统本身变得可靠安全研究者还在构建一套外部监控体系作为对齐失败和可解释性不足时的最后防线。这类技术统称AI控制或失控监控核心思路是即使你不能完全理解模型在想什么你仍然可以通过行为模式监测、输入输出审计、资源使用异常检测等手段尽早发现系统行为偏离预期的信号并及时触发安全响应。这里面有一个技术难点值得展开说说如何防止监控系统本身也被AI影响。如果被监控的AI足够强大它的行为可能包涵某种隐含的策略性连监控系统一起被说服或规避。安全研究者的应对方式是用隔离部署、形式化验证和分级权限来约束这种影响链条的传播范围。这跟大型分布式系统设计中最小权限原则的思路非常像只是应用对象从普通进程换成了智能体。它是目前比较现实、可落地的安全技术路线之一。4. 一个从业者的实操视角面对宏大风险我们能做什么聊完学术层面的内容回过头来说些更贴近日常的问题。作为AI行业的从业者或者普通技术用户面对AI几千年内终结人类文明这种级别的预测什么样的姿态才是理智且有建设性的4.1 分清楚短期伤害与长期存在风险第一个也是最重要的一个区分是别把短期伤害和长期存在风险混为一谈。短期伤害是当下已经发生的或者即将发生的算法偏见、虚假信息的大规模生成、个人隐私的侵蚀、就业市场的结构性冲击、安全漏洞被恶意利用。这些问题是真实存在的而且其严重程度完全不需要等到超级智能出现——它们就在眼前是可以被快速干预和缓解的。长期存在风险则是万一没管住会发生什么的问题。这两类议题往往被同一批人关注但需要的解决方案完全不同。短期伤害需要的是治理规则、伦理审查、产品设计规范和监管框架长期风险需要的则是更基础的技术研究——对齐、可解释性、稳健性、形式化验证。对个体从业者来说最务实的态度就是在每天的工作里先把眼前的安全和伦理做扎实同时保持对长期研究议题的基本认知和尊重。不必因为相信某个概率数字而焦虑失眠但也不要用概率还小来否定有人去做长期安全研究的价值。4.2 概率思维下的决策方式如果非要谈概率我更愿意把它放到决策论框架下来看当一件事只有低概率但可能带来无限大损失时最优解往往不是计算期望值然后抛到脑后而是把注意力放在如何用有限的成本显著降低损失发生的可能性上。这就类似于给建筑物做抗震设计——一次强震的概率在每一个具体的年份来看都很低但没有人会因此放弃抗震设防。AI安全研究与这种抗震设防逻辑高度一致。我们不需要一个足够大的概率来证明防御性投入的合理性只需要确认最坏情况的损失足够大以及当前的技术路径不足以让我们对失控风险完全放心就足以构成行动的充分理由。这才是那个毁灭概率存在的真正意义——它其实不是用来预告末日的而是用来说明这件事应该被认真对待的。一栋建筑做抗震设计并不需要等到地震学家说明天有90%可能地震才动手。4.3 技术从业者的三个具体行动方向那么落在实处一个愿意做点什么的技术从业者有哪些具体的方向可以参考第一个方向是做可解释性相关的工作。这个领域目前的人才缺口很大而且很多基础问题还没有标准答案。无论你是做算法研究的、做数据工程的、还是做系统架构的都能在可解释性链条上找到切入点——比如为已有模型搭建可解释性分析管线或者研究如何把解释结果可视化呈现在产品中。第二个方向是做红队测试和鲁棒性评估。现在大模型产品迎来爆发式增长但很多产品的对抗性鲁棒性测试做得很不充分。有安全功底的人如果能系统化地构建攻击样本库、设计更全面的测试评估方案短期内就能为真实产品的安全水平带来可量化的提升。这类工作既不像纯理论研究那样遥远又确实能积累与长期安全目标相关的技术能力。第三个方向是参与人工智能治理和伦理设计的讨论。这不一定要求你放弃工程师身份去做政策研究而可以是在产品设计评审会上多问一句这个功能如果被恶意使用会怎么样在数据标注环节多审一道人权伦理风险清单在技术方案文档里把安全审计作为一等公民来对待。这些看起来很小的动作实际上是在把安全文化植入到技术生产流程的基因里去。4.4 保持对确定性的警惕最后想说一点更偏心态层面的经验。我在这个行业待得越久越警惕任何一种对未来的过于确定的判断——无论是悲观还是乐观。那些告诉你AI注定毁灭一切和AI绝对万无一失的人其实犯了同一个认知错误对不可完全预测的系统给出了超出了信息量的确定性。更健康的姿态是接受一个事实我们正在一个本身存在不确定性的领域里做决策努力的方向不是消除不确定性而是提高应对不确定性的准备度。对个体而言这种准备度体现在持续学习、保持技术深度与人文视野的复合能力、以及在每个具体决策里把安全与伦理纳入权重之中。对行业而言则体现在研究投入的多元性——既有人冲刺能力上限也有人守着安全底线两边齐头并进才是一个健康的技术生态。回到开头那条引发热议的预测。我个人的态度是那个概率的具体数值我不打算全盘接受也不打算轻率否定。我真正采纳的是它背后那个把问题拆解到可以讨论的思维框架以及这件事值得认真对待的核心判断。几千年确实很长长到任何具体预测都显得不具可操作性——但也正因为几千年很长我们现在做的每一项扎实的安全技术研究工作都有足够的时间窗口去积累、去纠错、去让那个概率往更低的方向倾斜。这大概就是从业者面对宏大命题时最恰如其分的回应方式了。
