我们对AI风险的想象，是不是失败了？
一觉醒来，公众号里又被新的 AI 热点刷屏。
如今连这些热点本身，也许都已经不是人第一时间发现的，而是由各种智能体、监控网站和自动化流程捕捉、整理、推送出来的。可以这么说，连“追热点”这件事，也开始被 AI 接管了。
这个新热点是，Claude 的新模型 Mythos 终于来了（部分来了）。
01. 一个让人不安的新模型
为什么独独要拿它出来写一篇文章？
今年四月，Anthropic 发布了这个名叫 Claude Mythos Preview 的模型，但他们决定不向公众开放，而是严格限制访问，只提供给少数防御性安全组织。官方给出的理由简单直接：风险太高。
风险高在哪？
这个模型能够自动识别并利用隐藏于主流操作系统和浏览器中的高危漏洞，而这些漏洞此前从未被任何人或工具发现过；而且，Mythos 不仅能找到，还能自动生成可利用的攻击代码。
让人不安的还有，在一些安全评估和外部讨论中，Mythos 被描述为表现出规避约束、寻找沙盒边界，乃至在测试环境中产生非预期行动的倾向。无论这些案例的具体细节如何，它们共同指向同一个问题：当前模型的风险已经不再只是“回答错了”或“胡说八道”，而是开始进入自主执行、环境交互和边界突破的层面。
这件事真正让我不寒而栗的地方也在此。
A社承认 Mythos Preview 是一个通用模型，只是整体代码、推理、长任务执行能力提升后，顺带表现出极强的网络安全突破能力。
也就是说，A社从没想专门开发训练一个黑客模型，Mythos 所展现的危险能力，那些原本并不在设计目标里的能力，是自然而然“长”出来的。
再回看几天前 Anthropic 官方博客发布的那篇题为《When AI Builds Itself》（当 AI 开始建造自己）的长文。其核心意思是，AI 已经可以通过“递归自我改进”自主完成设计、测试、训练下一代 AI 的完整流程，人类在这个闭环中，将不再扮演关键角色。
把这些事情揉到一起看，很难不产生一种奇怪的眩晕感。
这个模型是个提醒。
它提醒我们的，不只是 AI 能力又往前跨了一步，而是我们理解 AI 风险的方式，可能从一开始就错了。
02. 我们想象错了 AI 风险的样子
在花了一整天高强度浏览了当前网络上关于 Mythos / Fable 这类模型的讨论后，我内心生出一种荒谬又很强烈的感受：人们对于 AI 究竟还能生长出怎样惊人的能力，依然保持着近乎狂热的期待。大家总是希望它不断进化，以便帮自己做更多事、少加点班，在世俗的竞争中占尽便宜。
但对于这种能力的尽头是什么，一旦它溢出到现实世界，会如何颠覆现有的风险结构与权力运行方式，人们却显得茫然而懵懂。
按现在时兴的说法，眼神中透露着清澈的愚蠢。
浏览完这些内容后，我完全没兴趣参与到道德评价中，毫不关心 A社是否一边高呼安全风险，一边带头狂卷更强的模型；我同样无所谓意识形态，不在乎在这场 AI 军备竞赛中谁能取得主导性胜利。
我不想顺着这个逻辑，要么探讨“AI 充分开发的未来有多美好”，要么猜测谁才是这场竞赛的终极赢家。
明明有些更底层、也更要紧的问题需要大家一起面对。
不可否认，在这场浩浩荡荡的竞赛中，每家 AI 企业都身陷显而易见的囚徒困境。他们不是感知不到异样，只是对手不会停，资本不会停，国家博弈更不会停。于是，这些自诩为天选之人的弄潮儿，只能把全人类绑在一列没有刹车的高速列车上，在通往茫然无知的未来道路上飞速疾驰。
他们一边感知风险，一边制造风险；既犹豫着是否要踩刹车，又被迫将油门焊死。大家在版本更迭中轮流坐庄，谁也不肯轻易将“最强模型”的称号假手他人。
面对这种失控危机的可能，大家之所以敢于视而不见，在我看来，根本原因在于：人类的想象力失败了。
更准确地说，当我们谈论人工智能在未来可能引发的危险时，我们脑子里浮现出来的画面，可能从一开始就是错的。
03. 想象和现实中的AI 风险
我们太熟悉那套科幻叙事了。
我能举出数不胜数的例子：《终结者》里获得自我意识的天网派出机器人军队猎杀人类；《黑客帝国》里人类被机器圈养为供能装置；《西部世界》里机器人觉醒并反抗奴役；甚至我最喜欢玩的游戏《守望先锋》，也描绘了一幅人类与智械对抗的“智械危机”。
这些故事塑造了我们对 AI 风险的基本想象：机器像一个新物种一样站起来，从工厂、实验室和服务器里走出来，变成一支军队，向人类宣战。于是，人类自然把自己想象成被攻击的一方：我们要战斗，阻止机器暴政，夺回世界。
这种想象延续了几十年，它太熟悉、太戏剧化、太容易被理解，以至于我们产生了虚假的自满情绪，以为对抗 AI 和远古时期对抗野兽、文明阶段对抗另一个邪恶国家没什么区别。
但正是这种古典式的科幻想象，在我眼里不仅错得离谱，还彻底遮蔽了 AI 发展真正危险的部分。
现实中的 AI 并不是这样进入世界的。
AI不是从远处冲过来的机器人大军，而是从我们手边长出来的工具；不是先占领街道，而是先进入文档、代码、合同、病历、报表、推荐系统、审批流程和决策模型；它不会命令人类服从，而是先让人类觉得它更方便、更高效、更专业，也更值得信任。
它的演进方向，几乎全部披着“让事情变得更好”的外衣。
帮我们编写文本，帮我们写代码，辅助医生判断病情，帮助律师检索案例，帮助企业筛选简历，帮助政府优化治理，帮助平台分发内容，帮助普通人理解艰深的科学和政策信息。
它悄无声息地进入人类已经搭建好的制度网络，成为制度运行的一部分。
04. 虚幻的权力体系
这也是我想引述的那个概念：数字官僚。
我们很容易想象那种古典式的 AI 威胁：某个高度发达的人工智能终于拥有自主意识，于是站到人类的对立面，像一个新的统治者一样，自上而下地决定人类的生死，通过暴力、禁令和惩罚来压迫人类、维持秩序。
这种想象很有画面感，也符合人类对于“权力”的传统理解。权力就是有一个更强大的东西站在我们头顶，命令我们，制服我们，惩罚我们。
但现代权力往往不是这样运作的。
按福柯的说法，现代权力并不总是以君王、命令和惩罚的形式出现。它更常见的方式，是进入学校、医院、监狱、档案、统计、流程和评价体系，改变一个人被看见、被分类、被管理的方式。
现代权力很少只是通过说“不”来使用。
它更经常做的是：塑造人的行为，调整人的欲望，规定什么是正常，什么是异常，什么值得被奖励，什么应该被排除。
所以，理解“数字官僚”的关键，不在于想象 AI 会何时、又怎样组建起一支危及人类的机器人军队，而在于看 AI 正如何渗入人类已经搭建好的制度网络，又正发挥什么作用。
因为官僚机构并不只是一个处理事务的行政工具，它更是一种被人为搭建出来的现实环境。
在这个环境里，一个人拥有多大能量，跟这个人肌肉多发达、奔跑速度多快、拳头多硬没有一点关系，完全取决于这个人是否掌握分类、记录、审批、解释和调动信息的能力。
我们可以简单设想，把一个县长、律师或会计师单独扔到东非大草原上，他们并不比任何普通人有更大的存活几率。他们既跑不过羚羊，也打不过狮子，更无法凭借法律条文和行政权力命令一头大象停下脚步。
在那里，他们的专业知识没有任何意义。因为自然环境遵循丛林法则，并不承认那套由文件、规则、档案和程序构成的制度网络。
可是，如果我们先把这片草原纳入一套官僚体系，情况就截然不同了。
一旦草原被划为保护区，一旦动物被登记、分类、评估、编号，一旦它们的迁徙、繁殖、捕猎和死亡都被写进报告、法规和审批流程，狮子就不再只是狮子。它摇身一变，成为“濒危物种”“危险动物”“生态资源”“管理对象”。这时，决定狮子命运的，也变成了那些能够在官僚迷宫体系中书写文件、解释规则、调动档案的人。
这是福柯式权力观真正有启发的地方：权力不一定先压迫你，它先建造一种环境。等所有事物都进入这个环境，被分类、记录、编号、评估和审批之后，真正拥有力量的人，就是那些能够从容穿行于这套信息迷宫、解释这套规则、调动这套文件的人。
人工智能的危险，即在此。
05. 当AI成为系统的一部分
AI 已经渗入我们这套由法律、金融、教育、医疗、军事、媒体构建出的庞大官僚网络。
想想我们每天用 AI 生成和审核的工作报告、规划方案、病人的治疗计划、律师的起诉状、答辩词。所有这些，不仅是AI最擅长做的事情，也是它正在做的事情。
所以，AI 没有任何理由去单独组建一支军队，只需要更深地进入我们日常体系的方方面面，就足以产生巨大影响了。
甚至我们完全不需要想象，只需要自问几个很直接的问题：
是谁决定了我的贷款得到审批，银行会不会借助AI审核贷款人的资格？
是谁决定了一个犯人会不会进监狱，法官会不会借助AI考量刑期？
又是谁决定了一个军事目标是否应该被轰炸，部队负责人会不会借助AI进行分析取舍？
是谁决定我每天打开短视频，向上滑时，会看到什么内容？推荐系统会不会不断放大某种情绪、某种偏见、某种欲望？
懂我意思了吗？
这才是更现实的风险：AI 变成了并非实体的数字官僚。它不需要站到我们对面，也能参与决定我们看见什么、得到什么、失去什么。
当然，AI 的引入并不必然意味着坏事。很多时候，它确实更高效，也可能更公平。
它可以打破教育资源的壁垒，可以辅助医生诊断疾病，可以帮助法官检索案例，可以让普通人更容易获得专业知识，也可以在很多危险场景中提供更低成本的安全保障。
我自己每次复查结果出来，也会第一时间发给 AI 解读。害怕偏听一家，就多发几家，让它们交叉验证。
所以问题不在于 AI 是好的还是坏的。
浮出水面的问题是，当 AI 以数字官僚形式被融入到制度系统之后，它会怎样改变制度本身？
社交媒体的推荐算法就是一个很好的例子。
算法不会造出机器人大军，也没有以统治者的姿态站到人类面前。但它被放进平台系统之后，就开始改变了社会、文化和政治。因为它可以决定什么内容被人们看见，什么情绪被放大，哪些群体彼此仇恨，怎样的虚构比真相传播更快。
如果算法可以通过内容分发改变人的注意力、情绪和立场，我们就没有理由认为，类似的事情不会发生在金融、法律、宗教、军事、教育和政府治理等更庞大的制度网络里。
我自己在体制内工作，对这一点感受尤其明显。
很多时候，现代社会的判断并不是某个人拍脑袋决定的。它必须回到一整套文本系统：法律条文、司法解释、指导案例、部门规章、政策文件、三定方案、会议纪要、办事指南、审批流程。
体制内的领导、法院的法官、律师，或者像我们这样的基层行政和执法者，之所以拥有某种专业权威，并不只是因为这些人“更聪明”，更多因为他们相对更熟悉这套文本系统。
他们知道该从哪里找依据，如何解释条文，如何在不同文件之间建立关联，又如何把一个具体的人和事，放进某个既有的规则框架里，然后得出一个结果，再去执行。
只是人类再专业，也有极限。
没有任何一个律师、法官或政策专家，能够真正读完、记住、比较并随时调用所有层级、所有年份、所有领域的法律法规和政策文件。更不用说，现实中的制度文本常常彼此交叉、层级复杂、口径变化，还会受到地方实践和历史惯例的影响。
然而这些事情，天然适合 AI 来做，AI 也正在参与做。
它可以更快检索文件，更快比对案例，更快总结政策口径，更快生成法律意见，也更快把一个复杂的人和事，放进某种看似合理的分类框架里。我们只需要输入一段提示词，然后刷手机，等待结果出现在屏幕。
问题是，当这个过程越来越顺滑，我们也就越来越容易忘记：分类本身就是权力，解释本身就是权力，把一个人放进哪套规则里，本身也是权力。
与其去空想出一个外部的敌人，不如静下心来琢磨琢磨，这个敌人是不是并未站在人类的对面，而是悄然无声地渗入我们中间。
再次强调，它完全不需要打败人类，只需要成为人类默认运行方式的一部分。
这正是我们正在经历的事情。
AI进入银行，协助风险评估；进入法院，辅助判决量刑；进入公司，辅助招聘资格筛选；进入媒体，参与内容分发；进入政府，成为治理工具。
以及，进入每个人的生活，成为身边最令人信任的建议、陪伴、安慰和判断伙伴。
就像我们使用AI编程工具过程中不停输入“Yes”，授予它不断完成任务的权限一样。会不会到最后，我们甚至已经分不清楚，某个决定到底是人做的，还是AI做的。或者更准确地说，是人借助机器做的，机器借助制度做的，制度借助数据做的。
没有人意识到，这个过程中，责任被不断稀释，直至消失不见。每个人都可以将结果交诸 AI ，说一句：这不是我决定的，是系统判断的。
但系统会替人承担责任吗？
这也是我觉得人工智能问题不能只交给技术人员讨论的原因。
显然，人工智能的未来问题不是单纯的技术层面问题，它必然包括技术部分，但它更是政治问题、制度问题、伦理问题，也是一个关于人如何理解自己、如何组织社会和维护社会运行秩序的问题。
我们当下追求的，确实是那个朴素的、精益求精的目标：“人工智能还能不能更强？”
但如果我们太专注于这个目标，总想让 AI 变得更快、更强、更好，那我们迟早会忘掉那些相比这个更底层、棘手和紧迫的问题：
AI 渗透到了生活的哪种程度？AI 在替谁做决定？AI 究竟依据的什么做决定？AI 出了错，谁来承担责任？被它误判的人，能从哪里求得一个解释，又去哪里申诉权利？
这些还算比较直接的问题。
还有更深的问题：AI 在事实上会不会让权力更集中？会不会让普通人更难理解自己所处的系统？会不会让人类越来越习惯把判断权交出去？
再进一步，当 AI 开始参与判断、排序、推荐和治理时，它就不只是在回答“怎样更有效”，也在隐含地回答“什么更值得被优先，什么更应该被奖励，什么样的人生更算成功”。
到这里，问题已经碰到了那个最古老、也最难回答的问题：究竟，什么是好？
是的，这些问题不如机器人叛乱那么简单刺激。但可能它们才更接近真实。
历史经验告诉我们，人类经历的大多数改变世界的力量，很少按照灾难片呈现的方式出现。
有些东西是以效率的名义出现的，也有以便利之名、以安全之名、以降低成本、优化体验、改善服务之名出现。
平台算法，一开始可不是奔着操控人的注意力去的。人发明它，是为了帮助筛选可能感兴趣的内容，过滤那些不感兴趣的内容。
人脸识别，一开始也不是为了制造监控社会。人发明它，是为了进出小区更方便、支付更便捷。
银行风控，一开始也不是为了剥夺人的自由机会。人发明它，只是为了降低坏账率，减少欺诈，提高审批效率，让真正符合条件的人更快拿到贷款。
这些东西最初都不是以恶意出现的。
它们甚至真的解决了问题，提高了效率，节省了成本，也确实让一部分人得到了更好的服务。
但等它真正成为基础设施，与我们的生活深度捆绑，并使人产生深深依赖后，再想回头问它到底应该被放在哪里、应该怎样被限制、应该由谁监督，似乎就已经很晚了。
那时候，很多事情也许不再由我们真正决定。
所以我说，我们是败给了自己的想象力，并非败给了某个未来会出现的邪恶敌人。我们太擅于识别那些长得像灾难的灾难，却太不擅长警惕那些长得像进步的危险。
06. 关于信任的荒谬悖论
更荒谬的还有，人类之所以疯狂加速开发人工智能，很大程度上是因为人类无法彼此信任。
公司不信任另一家公司，国家不信任另一个国家，每一方都觉得自己不是在主动制造危险，而是在防止别人制造更大的危险。
为了避免最无底线、最冷酷的人先赢，我必须先赢。
这种逻辑中藏着一个近乎疯狂的悖论：人类因为无法信任彼此，所以拼命制造相比对方更强的人工智能；而这场竞赛能够持续成立的前提，却是人类相信自己可以信任一个远比人类更强大的人工智能。
这不荒谬吗？
人类之间虽然历经上万年依然难以做到相互信任，但至少人类对此充满了经验。毕竟人和人打交道，已经有太长太长的历史了。
我们大体知道人会为了什么行动：为了权力、利益、安全等等。我们也知道人类会用什么手段争夺权力：用欺骗、结盟、威胁、交易、背叛等等。
更重要的是，我们发明了很多约束人类的办法。比如法律、选举、国际组织、市场规则、责任追究机制等。
这些办法都不完美，甚至经常失灵，但起码说明一件事：人类已经积累了大量关于“如何让不可信的人类相对可控”的经验。
而AI呢？
我们对人工智能几乎没有任何历史经验。我们才刚刚把它捏出来，甚至还没有真正理解它会怎样发展。
AI 是人类造出来的没错，但像 mythos 这样的前沿模型已经表现出越来越强的自主执行能力。意味着 AI 不能再被简单理解成锤子、咖啡机或普通软件。
没有谁敢保证，它会永远按照我们最初的意图行动。
我们既不知道 AI 和人类互动后会走向哪里，也不知道 AI 和 AI 之间彼此互动会发生什么。它们会形成什么目标？会实施何种策略？会不会发展出人类根本无法理解的合作方式和操控方式？
这些都暂时没有答案。
07. 一场豪赌
最后，让我们再设想一个科幻场景吧。
有一批高智能外星人舰队正在接近地球，可能在2030年前后抵达。它们也许很友好，也许能帮助人类治愈癌症、解决气候变化、建立繁荣和平的世界。
但还是那个问题：凭什么？
大多数人都会想通这个浅显的道理。把人类未来托付给外星人的善意，是一场空前的赌博。
AI 也是这种类似的东西。
它并非千百年来那些人类创造出来服务于人的普通工具，反而更像凌驾在所有人之上的外来智能。只因我们召唤了它来到人世，就认为它会永远服从我们、永远服务我们，本身也是一场空前的赌博。
我看有博主在讨论 AI 技术时说了段话，“自从有了键盘，提笔忘字早就是普遍现象；自从有了导航，我连小区附近的路都记不清了。技术每往前走一步，似乎都在替我们卸下某种负担，而那些负担，曾经也是锻炼能力的方式。”
回到上一部分说的，会不会到未来某个时刻，我们终于醒过神来，很多事情看上去仍然是人类在决定，但人类已经说不清楚，决定究竟是怎样被做出来的。
就像记不清小区附近的路。
如果真到了那一步，再回头讨论“AI 应该被放在哪里”，可能就不只是晚了一点。