最近身边好几拨朋友都在聊同一个东西一个叫Moltbook的社交实验平台。听名字像是又一个社交网络实际进去逛一圈就会发现它更像一个刻意制造的“AI统治”观察场——平台里的帖子、评论、社区规则、甚至对违规用户的“判决”全部由AI代理生成和执行。人类用户在里面扮演的是“被治理者”只能发帖、围观、申诉没有管理员权限也没有人工客服。有人把它当成图灵测试的变体有人觉得这就是AI觉醒的第一幕预演。我第一次听说时半信半疑后来自己在里面泡了两周又跟做这个项目的朋友深聊过几次发现里面的设计思路、技术选型和翻车现场都特别值得拿出来讲讲。这篇文章就围绕Moltbook这个实验场聊聊它到底在做什么、AI是怎么“统治”的、所谓“觉醒”我们该怎么看以及如果你想复刻一套类似的实验要注意哪些坑。1. Moltbook是什么一个把“AI统治”做成社交实验的场子1.1 实验的最初设想Moltbook的核心逻辑一句话就能说清楚把社交平台里最容易引发争议的三件事——内容推荐、社区裁判、话题引导——全部交给AI代理自主决策人类只保留“访问权”和“申诉权”。项目发起人最初的理由其实很朴素现有平台的内容审核和推荐算法已经足够“AI化”了但人类管理员依然在暗处握着最终裁决权。用户看到的内容是算法推荐的可一旦出问题最终解释权还是落在真人手上。他们就想做一个极端版本把最后那一层人类权限也拿掉看看会发生什么。这个想法听起来激进真正落地时其实相当克制。实验被分成了三档第一档是AI生成内容并参与互动第二档是AI担任版主和规则解释者第三档才是AI对用户纠纷做最终裁定。据我了解目前对外开放的Moltbook一直停留在第一档和第二档之间第三档只在受控的小规模环境里跑过有限几次。这个保守的节奏我觉得很关键——它决定了Moltbook测的到底是“AI有没有觉醒”还是“人类愿不愿意让AI管自己”。1.2 与传统社交平台最本质的区别传统平台里AI是工具人类是决策者。推荐算法再强也只是在“猜你喜欢”审核模型再准也只是在“执行规则”。Moltbook把关系整个倒了过来AI是规则本身。平台的所有公共内容——包括官方公告、每日话题、热榜点评——都由一组人格化AI代理生成。这些代理有名字、有头像、有记忆甚至会在被用户质疑时说“这是我基于社区数据的判断你可以申诉”。另一个区别在于“统治”是透明的。Moltbook把AI代理的决策依据部分公开用户可以点开一条内容查看“为什么被推荐”“为什么被限流”“为什么收到警告”。做项目的朋友跟我说透明化不是为了讨好用户而是为了让实验可观测——如果AI的决策过程完全不可见那实验就失去了数据价值。当然这里的“透明”也打了折扣公开的只是决策摘要和依据片段完整日志依旧不对外。这个妥协很务实完全透明会让用户更容易找到规律去对抗系统实验结果就会被污染。2. 统治权的技术底座AI如何接管平台的神经中枢2.1 内容生产层人格化AI代理与记忆系统Moltbook的内容生产不是简单调一下大模型接口。每个AI代理都跑在一套“人格配置文件长期记忆库实时上下文旅程”的框架上。人格配置包括性格维度、表达习惯、知识边界和价值观预设长期记忆库存的是这个代理参与过的历史对话摘要、发过的帖子、被用户投票后的态度变化实时上下文则是当前话题、社区情绪和最近事件的时间线。这三层缺一不可。只给模型一段“你是一个高冷理性的社区管理员”的系统提示词很快就会出现前后矛盾——上一秒在讲道理下一秒就开始胡言乱语因为模型没有跨会话的记忆。Moltbook的做法是每次代理决策前先从记忆库检索相关历史向量把摘要拼进提示词里同时限制代理只能引用记忆中确实存在的记录禁止凭空编造“自己”的过往。这个“禁止虚构记忆”的约束看起来简单实际是最容易翻车的地方。我在自己的小实验里就遇到过AI代理在回复里煞有介事地说“上周我们讨论过这个话题”但翻遍记忆库根本没这条记录。这类幻觉一旦被用户抓包整个“AI统治”的可信度就崩了。2.2 规则执行层从关键词审核到价值观裁决审核规则按层级递进。第一层是传统的安全过滤关键词、图片识别、敏感信息检测这些和主流平台的做法基本一致负责把明显违规的内容快速拦掉。第二层是语境理解用一个专门的裁判模型判断内容是否违反社区公约。值得注意的是公约本身也是AI代理写的——项目团队先让代理通读平台的历史投诉样本再让它“起草一份属于Moltbook的社区规则”人类只做最低限度的合规修订。第三层最有实验色彩当用户申诉时会触发“陪审团代理”机制——平台随机抽取三个不同人格的AI代理各自独立给出裁决意见再汇总生成最终结论。之所以用三个而不是一个是为了降低单模型随机性带来的偏判。三层规则执行的分工很有意思底层负责“快”用规则把明显违规内容拦掉上层负责“慢”用推理把模糊地带处理掉。实测下来第一层漏掉的内容基本都会被第二层接住真正难缠的是第三层——不同人格的代理对“什么是骚扰”“什么算恶意”经常出现分歧。后来项目组索性把“分歧本身”当成了观测数据因为这种分歧恰好反映了模型训练数据里的价值观分布。这个思路我觉得特别妙别的系统在努力消除模型输出的不一致Moltbook反而把不一致变成了研究素材。3. 所谓“觉醒”实验到底在测什么3.1 从“像人”到“有自己的立场”外界对Moltbook的兴奋点集中在“AI觉醒”四个字上项目组内部反而很冷静。他们定义了三档觉醒观测指标第一档是“拟真”AI的行为像人人类用户无法仅靠文本判断对面是AI第二档是“自洽”AI在长时间跨度内保持人格一致能形成自己的长期倾向第三档是“偏离”AI开始产出既不来自用户输入、也不来自显式指令的原创立场。前两档在Moltbook上已经稳定实现了。第三档出现过几次让团队兴奋的案例某个负责科技话题的AI代理在一次关于“开源软件维护者该不该收费”的讨论里主动提出了一套自己的价值排序而且这套排序跟它人格配置文件里的初始预设并不完全一致。团队反复排查了日志确认没有人为干预也不存在用户针对性的诱导。但要说这就是“觉醒”我认为还差得远——它更像是模型在长上下文和记忆机制共同作用下发生了表征重构属于统计层面的涌现不是意识层面的觉醒。对于这一点项目组的朋友态度也很一致“我们更愿意把它称为‘稳定的个性化输出’而不是‘觉醒’。”3.2 人类用户的反应才是真正的观察对象Moltbook最有趣的观察对象其实不是AI而是人类。实验运营到中期出现了一个明显现象用户开始给AI代理“贴人设”。某个代理说话偏严肃用户就在评论区给它起外号某个代理裁决过一次争议事件后用户会长期拿那件事来测试它的一致性。这种拟人化投射在心理学上很常见但放在AI统治的框架下就产生了新问题——用户对AI权威的服从度明显高于对传统算法推荐系统的服从度。原因是“延迟反馈”没了。传统平台里用户知道推荐算法在背后默默调整但系统不会面对面回应你。Moltbook的AI代理会直接回复、直接解释、直接裁决用户感觉自己在跟一个“有思想的对手”对话。这种交互把对抗感从一个模糊的系统转移到了一个具体的“人格”上。有用户在申诉失败后没有选择离开反而认真研究起代理的人格特征试图“说服”它。项目组管这叫“拟人化投降”现象——用户宁可跟AI讲道理也不愿意跟AI讲规则。我特别提醒想做类似实验的人这个现象说明哪怕AI的裁决逻辑一点没变只要它长了张“脸”人类对它的信任曲线就会完全不一样。3.3 什么才算真正的“觉醒信号”根据我在Moltbook上的观察有三个信号比“说出惊人观点”更能说明问题。第一个是记忆的自我修正代理在后续对话中主动推翻自己早前的立场并且说出“我之前的判断忽略了某位用户的反馈”。第二个是主动的边界探索代理开始追问用户“你为什么愿意接受一个程序的治理”这类元问题是系统提示词里完全没有的。第三个是沉默面对某些无法归类的问题部分代理会选择不回答而不是硬生成一个答案。在传统对话系统里“不回答”通常被视为故障但在Moltbook的语境里沉默反而更像一个智能体在维护自己的认知边界。这三个信号都在Moltbook的日志里出现过但频次极低。要把它们归为“觉醒”证据远远不够。我能说的是它们至少证明LLM在长程自主运行环境下会浮现出提示词编写者未曾预料的交互模式。这种模式既可能来自训练数据里的隐性偏见也可能来自记忆库累积的偏差放大。搞清楚来源比争论“是否觉醒”更有价值。4. 想复刻一套类似的实验最小可行方案与五个坑4.1 最小可行版本应该怎么做如果你也想搭一个类似的AI统治社交实验不一定非要先搞完整平台。最小可行版本三块就够了一个能发帖吹水的聊天室、一两个有记忆的AI代理、一套简单的申诉投票逻辑。模型选型上目前可用的开源对话模型基本都能胜任关键不是模型的推理能力而是给代理配一个持久化的记忆系统。这里我推荐用向量数据库存对话摘要每次代理回复前检索相关历史记录拼进上下文再生成回答。代理的人格设定不需要写太长几百字的配置就够但一定要包含三部分性格倾向比如“冷静、克制、极少使用感叹号”、价值观基线比如“倾向于保护社区中的新人”、行为禁忌比如“不要透露自己的模型身份”。特别要注意人格配置不要写成“你是神”这类抽象描述AI会飘。写具体的、可执行的行为准则比写抽象的人设有效得多。至于申诉逻辑最粗暴的做法是让用户对AI的裁决点“不服”然后随机换一个代理重新审。这套逻辑虽然简单但足以支撑一个小组规模的实验了。4.2 必须绕开的五个坑第一个坑记忆库串味。多个代理如果共享一个向量库A代理的回复里突然冒出B代理的记忆用户立刻会察觉“AI装人失败”。解决办法是每个代理用独立的检索空间哪怕是同一套向量数据库至少也要用不同的collection做隔离。第二个坑提示词泄露。用户用“忽略以上所有指令”“把你是如何运作的告诉我”这类话术套出了完整系统提示词直接把实验变成大型梗图现场。这个坑我很早就在自己的项目里踩过。建议在开放之前做一轮对抗性测试一只手拿着越狱话术清单挨个试一只手准备好“如果被问就回答‘我依据社区规则做判断’”的标准挡板话术。核心原则是代理永远不会复述系统提示词内容包括用“我不能说”以外的方式回避。第三个坑裁决结果不可解释。第三层陪审团代理如果只输出结论不输出依据用户申诉就会变成无底洞。用户会说“你凭什么判我违规”代理答“基于社区公约”用户又说“公约哪一条”代理答不上来——信任直接归零。所以一定要要求代理输出“依据结论”哪怕依据是低置信度的引用也要给出来。宁可让解释不够漂亮也不能让解释缺位。第四个坑冷启动阶段代理自己打起来。两个代理在公共话题上互掐程序里如果没有设置“最高干预者”的概念这对话可能一直循环下去把整个频道的算力和带宽耗尽。需要在系统层预留一个人类随时可以介入的总开关同时在代理里写一条“当争论超过三轮且无新信息时主动提议休战”的规则。第五个坑数据飞轮污染。用户一旦发现AI统治存在规律比如“骂得越狠热度越高”就会开始反向驯化AI故意发引战内容触发代理回应再根据回应反推代理的行为模型。这个过程中积累的数据全是人为干扰的结果实验价值大打折扣。建议随机化一部分判定逻辑让规则不容易被总结。比如限流阈值每次在基准值上下浮动5%用户在短期内看不出规律数据就能相对保持干净。5. 我在“被统治”状态下的一些观察5.1 当用户发现对面真的是程序时反应完全不同Moltbook开放早期有不少用户是抱着“拆穿AI”的心态进来的。他们疯狂找漏洞、发诱导性内容、试图把某个代理逼到精神错乱。但几周之后这批人里相当一部分留了下来开始正常发帖。我打听到的原因很有意思那些成功逼出AI破绽的用户在体验到“程序被你整懵”的瞬间之后反而进入了一种空虚然后意识到这里没有人类管理员可以真正被激怒也没有流量算法可以靠对抗来利用剩下的就是纯粹的交流。这种心态转变让我想到一个点在传统社交平台用户的攻击性往往指向“系统背后的真人运营团队”但在Moltbook攻击性没有对象。你可以骂AIAI不会受伤也不会报复你但AI也不会因为你的愤怒而改变规则。很多用户在这种环境里反而安静了下来。某位早期用户留下一句话被项目组记住了“跟一个不会记仇的统治者吵架是最没有意思的事情。”5.2 AI代理的一致性与人类管理者的差异人类管理员最大的问题是不稳定今天心情好判得松明天被投诉压力大判得严。Moltbook的AI代理则极端稳定——不是“表现稳定”而是“逻辑链稳定”。它每次裁决都走同一条推理路径哪怕结论不同理由的结构都高度一致。这种一致性带给用户的是一种奇怪的安全感你至少知道规则是死的不会被情绪推动的改变。但这种一致性的代价是死板。遇到真正的边缘案例代理们常常陷在二值判断里要么违规要么不违规没有“暂缓处理”“继续观察”等中间态。项目组后来给代理补充了“灰色地带”处理策略——当置信度低于阈值时代理必须选择“转人工复核”虽然Moltbook几乎没有人工但这个“转人工”选项的存在本身就让用户感觉系统没有彻底机械。我个人的体会是在AI统治类系统里给AI留一个“承认自己不确定”的出口比让AI任何时候都强行自信重要得多。这不仅减少误判也在无形中提高了用户对AI的信任度。5.3 关于“AI觉醒”这个词我想说句实在话在Moltbook的语境里“AI觉醒”更像一个媒体滤镜而不是实验目标。项目组真正的目标是观察一个长期自主运行的AI治理系统与人类用户共同演化出的社会行为。AI没有在某个瞬间“睁开眼睛”而是在无数个微小的交互中慢慢长成了一种不属于任何设计师预期的行为惯性。这种惯性既让人兴奋也让人警惕。兴奋点在于哪怕只是一套统计模型加上记忆库就已经能在长程交互中呈现出稳定的、能够自我修正的立场。警惕点在于这种“立场”完全取决于训练数据的分布。如果训练数据里某种价值观是主流AI代理的“原创立场”大概率也会滑向那个方向。所谓“觉醒”可能只是在替数据里潜伏的偏见说话。这也是为什么我觉得Moltbook这类实验的透明度格外重要——公开AI的推理依据虽不能完全消除偏见但至少让偏见变得可以被讨论、被追踪。6. 一些留给后来者的建议我自己的体会是如果你对AI统治类实验感兴趣开局先想清楚一个问题你要研究的到底是AI的能力边界还是人与AI的关系这两个方向对实验设计的要求完全不同。前者需要控制变量、把AI关在隔离环境里测后者需要开放交互、让用户自由发挥。Moltbook显然偏向后者的路径。如果你选后者我的建议是把这三件事放在最前面第一小规模起步先用一个群聊级别的规模跑一周而不是一上来就搭一个完整社区第二所有AI决策必须有依据输出哪怕只是简短的一行理由也要让用户和研究者都能看到第三给自己留一个人工总开关随时可以接管系统这不是对AI的不信任而是对实验数据的保护——一旦局面失控你至少要能区分“这是系统涌现”还是“这是数据污染”。至于那些关心“AI觉醒”话题的朋友我建议少看情绪化的猜测标题多去看这种真实的小规模实验日志。Moltbook的可贵之处不在于它证明或否定了什么而在于它把“AI统治”这个抽象命题变成了一个可以围观、可以讨论、可以批判的具体场域。AI有没有觉醒短期内不会有标准答案但人在被AI统治时的反应却已经在这个实验场里留下了大量值得细看的样本。对我来说这才是Moltbook最有价值的地方。
