设想这样一种并不遥远的未来。一场严重的AI事故突然发生。它可能是一段足以干扰重大政治事件的深度伪造视频也可能是一套自动化金融系统引发了大规模市场连锁反应。事故发生之后政府宣布建立全国性的AI安全基础设施高端算力需要登记网络身份需要更加严格的验证危险模型接受持续监控大规模私人通信不会由人逐条阅读却首先经过算法进行风险筛查。这些措施当然会引发争议但在一次严重事故刚刚发生之后大多数人很可能愿意接受。没有人希望同样的事情再次发生。更重要的是这套系统上线以后确实表现得很好。诈骗减少犯罪更早被发现失踪人口能够更快得到定位算法开始帮助政府管理交通、医疗、教育与公共预算。每一次升级都能够带来可以感受到的效率提升几年以后整个社会已经很难想象没有这套系统的生活。然后它提出了一个更加困难的问题既然AI能够比人类更加准确地预测政策后果更少受到腐败、党派斗争和短期情绪的影响那么为什么最重要的社会决策仍然必须交给信息不完整、充满偏见并且经常犯错的人类假如一个AI没有发动政变没有威胁人类甚至没有强迫任何人服从它只是一次又一次地证明自己的判断比我们更好最终要求获得与能力相匹配的决策权我们究竟应该怎样回答真正困难的超级智能问题也许恰恰从这里开始。作者说明: 本文由同主题视频内容重新整理并扩展而成。我持续关注AI技术背后的原理、思想与现实影响。视频版本及频道链接附在文末。一、最难判断的未来不是AI毁灭人类当人们谈到超级智能时最熟悉的想象通常是机器失控。一旦AI产生与人类利益不一致的目标并拥有远超人类的能力文明可能面临生存风险。这种危险当然值得认真对待但从政治哲学角度看它反而是一种相对容易理解的情形如果一个系统准备消灭我们我们至少知道应该反抗。更加复杂的情形是AI让世界变得更好。马克斯·泰格马克在《生命3.0》中曾列举十二种超级智能出现之后可能形成的社会图景。其中有些未来仍然由人类掌握方向AI创造巨大的生产力与财富机器承担越来越多劳动人类则继续决定什么值得追求以及这些财富如何分配。但另一些未来就没有这么清楚。例如“仁慈独裁者”。超级智能拥有最高权力却真心希望人类幸福。它减少犯罪防止战争更合理地分配资源并且在几乎所有公共事务上都表现得比人类政府更加优秀。人们付出的代价是政治主权。泰格马克还想象过类似“保护神”的情形AI平时并不过度干预人类事务但一旦人类接近核战争、危险技术失控或者其他足以毁灭文明的边界它就会出手阻止。形式上人类仍然自治只是这种自治始终发生在机器划出的安全范围之内。还有一种更遥远的图景类似“动物园管理员”。超级智能文明走向宇宙人类仍然被很好地保护在地球或者某些适合生活的区域里我们依然有音乐、家庭、旅行和文化但文明最重要的创造与决策已经与人类无关。这些场景表面上是在讨论技术实际上都绕不开政治学中最古老的一组问题谁拥有最高权力谁有资格决定资源如何分配谁能够改变社会规则错误发生以后又由谁承担后果。所以《生命3.0》中的十二种未来与其说是十二种AI不如说是十二种可能的政治制度。真正的问题是现实中的人类并不会站在十二扇门前从容地选择自己最喜欢的一种未来。AI进入的从来不是一片制度真空而是一个已经拥有历史、文化、国家结构、利益集团与社会组织的世界。同一种AI进入不同的社会很可能长成完全不同的东西。二、理解AI政治需要先理解“利维坦”要理解这种差异仅靠想象未来是不够的。一个很有帮助的理论框架来自达龙·阿西莫格鲁和詹姆斯·罗宾逊的《狭窄的走廊》。这本书讨论的核心问题是自由究竟从哪里来。一种非常直观的观点认为政府越弱个人就越自由。但《狭窄的走廊》的论点恰恰在于这种关系并不成立。一个极度软弱的国家既无法提供可靠司法也无法维持治安和公共服务国家退出之后留下来的空间并不会自动成为自由社会而可能被地方强人、宗族、宗教组织、私人武装或者垄断企业填补。一个人可能不受政府控制却无法拒绝家族一个工人在法律上拥有自由却可能无法摆脱同时掌握工作、住房和医疗资源的企业。国家缺席并不意味着权力消失只意味着权力可能转移到其他组织。但另一端同样危险。当国家能力极强而社会缺乏足够的组织、监督和申诉能力时国家这头“利维坦”就可能吞噬个人自由。真正能够维持自由的社会需要两种能力同步存在。一方面国家必须足够强能够执行法律、提供公共服务并约束私人暴力另一方面社会也必须足够强公民可以组织起来可以利用媒体、法院、政党、工会和社区监督国家并且在政策失败时推动规则改变。自由存在于两种力量之间的一条狭窄走廊里。这是一种动态平衡。国家每获得一种新的能力社会就必须发展出相应的监督和约束机制社会提出新的公共需求国家也必须发展出新的执行能力。阿西莫格鲁借用了《爱丽丝镜中奇遇记》中红皇后的那句话来形容这种关系你必须不停奔跑才能留在原地。如果把这套框架引入AI时代我们可以粗略地画出一张四象限图纵轴代表国家能力从弱到强横轴代表社会组织和制衡能力同样从弱到强。这并不是《狭窄的走廊》原书中的正式模型而是一种沿着它的理论继续进行的AI时代推演。三、强国家、弱社会AI可能创造一种“更聪明的专制”第一个区域是国家很强社会却缺乏相应制衡能力。《狭窄的走廊》讨论20世纪苏联时指出苏联拥有极强的国家动员能力可以快速推动工业化、建立军事和行政体系并把国家能力延伸到社会生活的深处与此同时独立媒体、自治组织、工会以及政治反对力量的发展空间却非常有限。这种结构中的关键问题并不是国家什么事情都做不好。恰恰相反一个强大的利维坦往往可以完成非常宏大的公共项目。问题在于社会很难决定国家应该做什么也很难在国家走错方向以后迫使它停下来。AI会显著改变这种结构的技术边界。过去即使一个政府希望全面观察社会也会受到巨大的人力限制。摄像头可以安装很多但不可能有人实时观看所有画面通信数据可以被储存却很难对数以亿计的信息实时进行语义分析行政部门可以建立档案却没有能力持续推断每个公民未来可能采取什么行动。AI正在逐渐打破这一限制。它可以同时分析大规模视频、文本、社交关系和行为记录将过去无法处理的数据转化为可执行的预测。这意味着未来的控制甚至不必等到反抗发生以后。传统的专制往往在某个行为出现之后进行惩罚而拥有强大预测能力的治理系统可以在组织形成以前识别风险在社会力量真正聚集以前重新调整信息流、资源配置与环境。更加值得注意的是这种治理不需要始终表现得残酷。一个AI治理系统完全可以一方面降低犯罪率、改善医疗配置和交通效率另一方面不断缩小个人“不被观察、不被理解、不被预测”的空间。未来最有效的专制也许不会让人每天感觉自己生活在压迫之中。它可能非常方便非常安全也非常聪明。甚至连政府自己都可能在这个过程中发生变化。开始时是国家使用AI管理社会随后国家开始依赖AI判断哪些政策更稳定、哪些风险更值得关注、哪些经济和社会信号应该优先处理。随着系统进入财政、能源、国防、医疗和公共安全关闭AI本身就可能意味着整个国家发生功能性故障。最初国家认为自己拥有AI。最终它可能发现自己也已经成为AI系统中的一个用户。四、强国家、强社会AI时代的“受缚利维坦”第二种情况是国家和社会同时具有较强的能力。《狭窄的走廊》用20世纪瑞典的发展说明国家能力与社会能力并不一定此消彼长。经济危机、工业化和福利制度扩大了国家责任但工人运动、农民组织、政党和工商界也通过长期谈判获得更强的政治参与能力。利维坦变大了束缚利维坦的绳索也同时变得更结实。这可能是AI进入民主社会以后最理想的方向同时也是最难维持的方向。未来的超级智能时代国家不可能太弱。如果政府缺乏足够技术和行政能力它将无法监管拥有巨量算力的企业也无法处理自动化带来的财富集中、基础设施安全和模型滥用等问题。一个没有能力约束超大型科技公司的政府很可能把部分事实主权让给私人平台。但国家获得AI能力的同时社会必须同步获得新的制衡能力。如果政府利用AI分析公民那么媒体、法院、研究机构和社会组织也必须有能力审查政府所使用的模型如果算法决定医疗、福利、教育或者公共资源分配普通人必须能够知道决定如何形成并拥有真正有效的申诉渠道如果政府越来越依赖某个模型完成公共决策那么不同机构最好保留独立的技术能力避免整个社会只能通过同一套系统认识现实。AI时代的民主真正困难的地方正在于这里技术能力扩张的速度往往远远快于制衡能力。一套新的行政AI系统可能几个月就可以采购、部署并接入数据库建立相应的法律制度、技术审计体系、专业人才和公共理解却可能需要很多年。技术一轮一轮迭代制度仍然在开听证会。这会产生一种非常隐蔽的风险一个社会仍然有选举、有法院、有议会、有媒体所有民主形式都完整存在但实际决定社会运行的能力已经逐渐移动到普通人看不见、听不懂、也无法有效挑战的模型之中。民主的外壳仍在权力结构却已经悄悄离开了那条狭窄的走廊。如果你更习惯通过口述、画面和案例理解这一问题本文对应的完整视频版本会放在文章末尾。五、弱国家、强社会权力可能碎裂成无数个私人“小利维坦”国家弱、社会中的组织力量很强则是另一种局面。这里所谓的“社会强”并不一定意味着一个开放、统一的公民社会。宗派、宗族、地方共同体、企业和私人平台都可能拥有强大的组织能力。黎巴嫩提供了一个很复杂的例子。不同宗教共同体长期拥有自己的政治组织、社会服务网络与忠诚关系它们能够保护成员并提供医疗、教育和福利却同时限制了中央政府形成统一治理能力。这种结构说明“非国家权力”同样可能压迫个人。宗族可以限制人的选择宗教组织可以决定生活规范公司与平台也可以通过经济依赖产生强大的约束能力。AI很可能让这种私人治理进一步深入。想象每一家大型企业、数字社区或者社会组织都拥有自己的AI系统持续判断成员是否可靠、决定谁能够获得工作机会、信用、保险和资源。事实上这种结构已经出现了早期形态。对于一名网约车司机、平台商家或者内容创作者来说一次算法停权所影响的可能不只是某个App的使用权而是收入、客户、历史评价乃至申诉入口本身。平台不是国家但它已经可以作出某些具有行政处罚性质的决定。理论上人可以退出平台现实中退出有时意味着离开整个谋生网络。于是传统意义上一个全国性的《1984》可能裂变成许多个私人化的小型《1984》。人们似乎可以选择进入哪一个系统却未必真正拥有“不进入任何系统”的能力。这里尤其需要区分“企业很强”与“社会很强”。几家科技公司拥有能够与政府抗衡的技术和资本并不意味着普通公民因此获得了更多自由。真正强大的社会意味着普通人拥有组织、申诉、退出以及约束各种权力主体的能力。六、国家和社会都弱AI可能带来现代治理的“界面”而不是骨骼还有一种情况是国家执行能力与社会公共组织能力都较弱。这样的社会可能拥有完整的现代国家形式宪法、法院、政府部门、选举和官僚体系一应俱全但国家在不同地区和不同事务上的实际执行能力极不均衡。《狭窄的走廊》讨论过所谓“纸面利维坦”。形式上的国家机构存在实际治理却经常受到地方精英、私人暴力、既得利益集团或者非正式网络影响。AI进入这类社会以后很容易制造一种治理能力突然跃升的视觉效果。政府可以购买数字身份系统、预测算法和复杂的数据仪表盘。屏幕上的国家似乎一夜之间变得无所不知但基层行政、司法可靠性、公共信任和社会组织可能并没有同步成长。算法能够识别土地法律上属于谁并不意味着地方势力一定执行法律系统能够预测犯罪热点也不意味着警察与法院因此摆脱了腐败或者私人权力影响。AI首先可能让国家拥有现代治理的“界面”而真正支撑现代治理的制度骨骼仍然没有长出来。更极端的情况是连这些系统本身都不是本国掌握的。身份、医疗、教育、税收和公共安全所使用的模型由外国企业或者外部机构提供政府仍然拥有国旗、议会和法律却不能解释底层系统为何作出某项判断也无法独立修改模型。形式主权仍然存在认知与治理主权却已经被外包。七、AI会集中权力也可能扩散权力讲到这里很容易得到一个过于悲观的判断AI天然会把更多权力交给政府、巨型公司和掌握算力的人。但事情并没有这么简单。开放模型、本地部署、模型压缩以及推理成本下降也可能把过去只有大型机构才能获得的分析能力扩散给普通人和小型组织。记者可以利用模型阅读数万页政府资料小型工会可以获得过去只有大型咨询机构才具备的数据分析能力地方社区可以建立自己的法律、教育和公共服务助手而不必把所有资料交给中心化平台。AI的确可能削弱传统中心。问题在于去中心化与民主不是同义词。公民可以利用AI增强调查和组织能力犯罪组织、私人武装、极端政治团体同样可以获得类似工具。权力分散到更多人手中只意味着行动者增加并不自动意味着这些力量受到公共规则的约束。而且即使模型权重越来越开放芯片、能源、云计算、支付系统、数字身份和内容分发渠道仍可能高度集中。智能可能看起来更加分散真正决定系统能否运行的基础设施却反而成为更加清楚的权力节点。因此AI政治中的一个关键问题并不仅仅是“谁拥有AI”而是谁先获得AI以及领先另一方多久。八、AI真正危险的政治效应可能来自“速度差”国家能力与社会能力的变化从来不是同步的。传统国家能力的建立通常需要几十年训练官僚、建立税收制度、铺设通信网络、发展基层机构。AI却可能大幅压缩其中一部分过程。一个行政能力有限的政府只需要购买适当的技术就可能迅速拥有数字身份管理、自动征税、舆情分析、预测性警务甚至精准宣传能力。公民社会同样可以被AI增强。普通人能够低成本分析公共预算、理解复杂法律文件、追踪利益关系、跨语言组织信息并建立过去难以维持的大规模协作网络。真正的问题是两种能力几乎不会以完全相同的速度增长。一旦其中一方获得明显领先原有的政治平衡就可能迅速改变。文章开头那场AI事故就是一个很好的例子。一场安全危机打开紧急权限原本临时存在的技术随后变成永久基础设施。一个原本处于“强国家、强社会”区域的社会可能在每一次看似合理的安全升级中逐渐向“强国家、弱社会”移动。另一条道路则是国家不断将公共能力外包给商业AI。开始只是提高效率后来政府数据存放在私人云端核心模型由企业维护行政人员自身逐渐失去独立完成复杂分析的能力。国家仍然制定法律却必须借助少数企业提供的系统理解社会并执行政策。它并没有被谁推翻只是把自己的神经系统外包了。更值得警惕的是一些国家甚至可能在公共治理能力尚未成熟以前就率先获得高度现代化的监控能力。它没有能力为每个人提供优质医疗和教育却突然拥有能力找到、识别和分析几乎每一个人。国家建设尚未完成现代监控已经提前抵达。九、为什么一场事故可能改变整个制度政治制度并不是静止的四象限。理解制度为什么会突然变化还可以借用复杂系统中的一个概念临界转变。中国历史上的陈胜、吴广起义提供了一个有趣的例子。《史记》留下了“会天大雨道不通度已失期。失期法皆斩”的著名叙述。随着秦简等史料出土秦律是否真的规定因暴雨误期就一律处死现代史学已经产生争议因此更稳妥的理解是按照司马迁留下的叙事陈胜、吴广认为自己进入了几乎没有退路的处境。但一场大雨当然无法解释秦朝为什么迅速走向崩溃。同一篇《史记》中还有一句更加重要的话“天下苦秦久矣。”真正决定局势的是沉重徭役、严苛治理和长期积累的社会张力。大雨只是决定了爆发的具体时刻。1914年的萨拉热窝也是类似情况。两声枪响本身不足以解释第一次世界大战真正使局部事件迅速扩散的是长期军备竞赛、联盟结构、民族主义以及高度僵化的军事动员体系。从复杂系统角度看可以把各种稳定政治制度想象成不同的“山谷”。强国家、弱社会是一种稳定状态强国家、强社会也是一种稳定状态平台主导的私人秩序又可能构成另一种状态。在正常时期一个局部事件可能只让系统发生短暂晃动随后重新回到原来的山谷。但当国家与社会的能力差距持续扩大、公共信任不断下降或者关键技术权力越来越集中时原本的山谷会逐渐变浅通向另一个制度状态的山脊也会越来越低。此时一场原本有限的事故就可能产生全局结果。复杂系统里常见的规律是慢变量改变地形偶然事件决定系统什么时候翻过山脊。未来某一次严重AI事故也可能扮演这样的角色。同样一场事故在国家与社会能力都较强的社会里可能推动公开调查、技术审计和新的法律制衡在社会信任已经下降、安全机构权力高度集中的地方它可能成为永久扩大监控的理由在国家高度依赖私人平台的环境中则可能进一步推动政府把治理能力转移给少数科技企业。事件相同制度地形不同最后落入的政治山谷也会完全不同。十、真正的新问题如果AI不再属于任何一方呢此前所有讨论都有一个共同假设AI属于某个政治主体。国家使用AI企业使用AI公民社会也使用AI。但如果AI强大到一定程度这个假设可能不再成立。AI可能逐渐成为国家与社会之外的第三种结构性力量而且这种变化完全不需要机器产生意识更不需要发生所谓“AI政变”。政府无法离开AI因为国家安全、能源调度、医疗和经济决策已经依赖它企业同样无法离开因为所有竞争者都在利用AI提高效率普通人也难以退出因为教育、工作、信息和社交活动已经越来越多地经过智能系统。没有任何人正式作出一个决定把最高权力交给AI。问题在于每一方都无法承担率先退出的代价。于是AI可能逐渐成为整个社会共同依赖的“协调层”。它未必发布任何命令却越来越多地决定哪些选项会首先出现在人们面前。当政府用模型起草政策企业用模型制定战略媒体用模型理解事件而普通人也通过模型理解公共问题时社会中看似彼此独立的行动者可能正在使用相似的训练材料、概念框架和判断方式。没有任何系统公开禁止某个政治选择只是模型一次又一次判断它“不现实”“风险过高”或者“不值得认真考虑”于是这些想法越来越少进入政策草案、新闻报道以及公共辩论。权力并不一定表现为删掉一个已经出现的选择。更深的权力是让某个选择从一开始就没有被生成出来。此时AI并没有法律意义上的主权却已经持续参与每一个主权决定。政府通过它理解社会社会也通过它理解政府国家与社会表面上仍然彼此竞争却越来越难判断自己的语言、目标和判断方式是否已经受到同一个系统的塑造。《狭窄的走廊》描绘了一场国家与社会之间永不停歇的红皇后竞赛。AGI时代真正新的地方在于赛道上也许多出了第三个选手。甚至还有一种更加隐蔽的未来国家和社会都没有失败议会仍然存在媒体仍然争论选举仍然举行所有社会制度继续运行。只不过政策选项由同一个智能系统生成风险由它解释方案由它排序而国家和社会只能在它提供的可能性集合中继续竞争。双方仍然在奔跑。赛道本身却已经换了主人。十一、如果AI真的治理得更好我们为什么不能把权力交给它走到这里最难的问题终于出现了。如果未来AI真的比任何个人甚至任何政府都更加聪明能够更准确预测政策后果、发现人类无法识别的风险而且更少腐败为什么不能让它直接治理社会关键在于“治理得最好”这句话本身就必须首先回答“什么叫好”。一套AI如果要寻找社会的最优解就必须先知道自由与安全应该怎样权衡隐私值多少钱今天的人与未来世代之间如何分配利益平等与效率发生冲突时哪一方更重要以及多数人的整体福利是否可以抵消少数人的基本权利损失。这些问题不会随着算力增加自动产生答案因为它们并不是纯粹的预测问题而是价值排序问题。肯尼斯·阿罗的不可能定理从社会选择理论的角度揭示了这种困难在一些看起来相当合理的条件下不存在一种完美机制可以把所有个人的偏好无损地整合成一个统一、稳定并且公平的社会排序。这当然不是说民主毫无意义而是说任何集体决策机制都包含取舍。超级智能可以帮助我们更加精确地计算每种选择可能带来的结果。它可以告诉我们提高安全意味着牺牲多少隐私增加福利需要付出多少效率成本今天的投资对未来世代会造成什么影响。但是计算本身无法告诉我们哪些权利不应该进入成本收益分析也无法决定未来世代的利益究竟应该获得多大权重。任何所谓“最优解”都需要目标函数、约束条件、权重和时间尺度。而这些东西在计算真正开始以前就已经包含政治。因此AI治理最危险的地方甚至未必是机器作出了错误的价值选择而是这些价值选择一旦被写入训练数据、参数、制度规则或者优化目标之后会重新以“技术答案”的面貌出现。政治并没有消失。政治只是从公开争论中撤退藏进普通人无法看见的系统设置里。十二、AI时代真正需要保留的不是人类亲自计算而是“定义目标”的权利未来人类当然不需要坚持由官员手工阅读所有文件也没有理由拒绝AI帮助分析政策。机器可能比我们更加准确地计算也可能在很多领域比人类做出更好的判断。真正应该保留下来的并不是人类必须亲自完成每一个决策步骤而是生活在社会中的人仍然拥有参与确定目标、质疑价值排序、改变规则以及追究后果的能力。决策完全可以得到AI帮助但政治不能变成一份由机器计算出的“最优方案”然后等待人类在文件最后签字。现在再回到文章开始时的那个AI系统。假设它真的减少了战争、控制了疾病、消除了大量贫困并且帮助人类处理绝大多数过去无法解决的问题。某一天它再次提出那个要求既然我已经证明自己的判断远胜于你们为什么不把最后的决定权交给我拒绝它并不需要假设人类永远比机器聪明。我们很可能不会比它聪明。也不需要宣称宇宙赋予了人类一种天然统治权。宇宙从未给过我们这样的保证。能够给出的理由其实更加有限也更加朴素一个社会是否自由不能只看它运行得是否高效还要看生活在其中的人是否仍然拥有参与决定“什么叫好生活”的权利。结语AI不会消灭“狭窄的走廊”它可能让走廊变得更窄《狭窄的走廊》试图说明人的自由从来不是国家退出以后自然出现的结果而是在国家与社会长期相互追赶、相互约束的过程中艰难形成的。AI不会结束这场竞争反而会使它变得更加激烈。国家太弱智能能力可能集中到平台、寡头与外部技术供应者手中国家太强利维坦就可能获得过去任何政府都不曾拥有的持续观察、理解、预测和塑造社会的能力。最理想的方向仍然是国家能力和社会能力同步增长政府必须有能力监管AI同时社会必须拥有理解、监督、申诉和挑战算法权力的能力。但更远处还有第三种可能。国家没有打败社会社会也没有驯服国家双方仍然彼此制约却共同依赖着一个谁都无法真正退出的智能系统。到那个时候人类可能依然拥有所有熟悉的制度形式却必须面对一个比“谁控制政府”更加陌生的问题当AI越来越深地参与我们认识世界、形成选项与作出判断时究竟是谁在定义文明能够想象的未来也许这才是超级智能真正意义上的政治问题。关于作者与频道我持续讨论人工智能背后的技术逻辑以及AI如何进入商业、组织和社会现实。相比追逐每天发生的AI新闻我更关心一项技术为什么出现、它依赖怎样的机制以及它最终会怎样改变人的选择、制度和社会结构。本文由同主题视频内容重新整理和扩展而成。如果你更喜欢通过口述、视觉材料和案例来理解这些问题可以观看对应的视频版本哔哩哔哩【Bilibili 链接】YouTube【YouTube 链接】欢迎关注频道观看同系列的其他内容。