前Reddit CEO Yishan Wong:先分清两种AI危险,生存风险,滥用风险
前Reddit首席执行官、现运营Terraformation的Yishan Wong发长文称,近期AI安全争论几乎人人搞错一件事:危险有两类,必须分开想,不能用一类去混淆另一类。
第一类是生存风险。假设出现全面碾压人类的超级智能,差距不是爱因斯坦对普通人,而是人对老鼠。人类扩张城市、占用资源时不必仇恨某一种老鼠,老鼠仍可能消失。因此危险来自超级智能本身:无论造出它的人善恶,都可能失控。
他用两则类比压住“具体怎么灭人”这个问题:你问国际象棋大师将如何赢你,并不改变结局;低等动物问人类将如何夺走栖息地,同样不改变资源竞争的胜负。超级智能会追求人类无法理解的目标,并更高效独占资源。
第二类是滥用风险:人类把AI当工具作恶或失误——自动武器、全民监控、网络劫持、生物武器、大规模失业、信息垃圾,乃至把开火权交给系统后误判。此时AI仍受控,问题在谁掌握工具,本质是熟悉的人性缺陷。
关键冲突在解法相反。防生存风险的直觉是不让任何人拥有过强AI;防垄断与暴政的直觉是让尽可能多的人拥有强大AI,使任何一方形不成绝对优势。历史里技术滥用常因少数人独占,扩散后才进入互相威慑。
市场机制上,这是叙事分层,不是即期买卖信号。算力与政策预算会按你认的那一类危险分流:认生存风险则流向集中管控、延迟前沿训练;认滥用则流向开源扩散、军备对等与反垄断。实验室与云厂商在“谁能训最大模型”上受益于集中叙事,开源权重与中小部署商受益于扩散叙事。两边互骂,是因为政策函数符号相反。
该帖引用Anthropic预训练研究员辞职并指控两家头部实验室直奔可自我改进的超级智能;Wong本人称两类都担忧,并要求凡说“AI太危险所以该限制”的人先回答:你怕的是哪一种。
来源:公开信息
ABAB AI 解读
Wong在2012至2014年执掌Reddit,后办造林公司Terraformation,近年反复用回形针最大化与“有尊严地灭亡”讨论气候指令被超级智能曲解。他把安全从内容审查里剥离出来,并指出中国已落地生成内容标识、换脸授权、关闭推荐、禁价格歧视等即时伤害规则,却几乎不谈NotKillEveryoneIsm。这与Yoshua Bengio同时强调“不会控制超级智能”和“缺少防止人类互害的政治机构”是同一分裂的两端。
资本路径上,生存风险叙事要求把前沿训练权收进少数实验室与许可证,资本流向可审计的封闭集群;滥用风险叙事要求把权重量产到终端,资本流向推理芯片、开源栈与军用无人机供应链。OpenAI与Anthropic用安全品牌募集封闭训练预算,开源阵营用“打破垄断”募集扩散预算。同一美元在两类叙事里买的是相反的治理权。
类比核武器:防扩散是生存逻辑,相互确保摧毁是滥用逻辑,政策不能同时最大化。Hinton推动禁止发展超级智能的法案,与主张全民获得强大模型的开源派,对应的就是这两条解。行业处在定义权争夺,而非已选出解法。
结构判断属于监管变化。机制是“危险”一词未定义时,监管文本会把相反处方写进同一标题:限制训练算力在减第一类尾部,却在加大第二类的能力不对称;放开权重在减第二类垄断,却在增加第一类被任何人触发的截面。先问是哪一种危险,不是礼貌,是避免把符号写反。
ABAB News · 认知定律
同一句危险,往往对应两套相反的解。
怕神失控就集中钥匙,怕人作恶就复制钥匙。
争论停在形容词时,政策一定写错符号。