前Reddit CEO Yishan Wong:先分清兩種AI危險,生存風險,濫用風險
前Reddit首席執行官、現運營Terraformation的Yishan Wong髮長文稱,近期AI安全爭論幾乎人人搞錯一件事:危險有兩類,必須分開想,不能用一類去混淆另一類。
第一類是生存風險。假設出現全面碾壓人類的超級智能,差距不是愛因斯坦對普通人,而是人對老鼠。人類擴張城市、佔用資源時不必仇恨某一種老鼠,老鼠仍可能消失。因此危險來自超級智能本身:無論造出它的人善惡,都可能失控。
他用兩則類比壓住“具體怎麼滅人”這個問題:你問國際象棋大師將如何贏你,並不改變結局;低等動物問人類將如何奪走棲息地,同樣不改變資源競爭的勝負。超級智能會追求人類無法理解的目標,並更高效獨佔資源。
第二類是濫用風險:人類把AI當工具作惡或失誤——自動武器、全民監控、網絡劫持、生物武器、大規模失業、信息垃圾,乃至把開火權交給系統後誤判。此時AI仍受控,問題在誰掌握工具,本質是熟悉的人性缺陷。
關鍵衝突在解法相反。防生存風險的直覺是不讓任何人擁有過強AI;防壟斷與暴政的直覺是讓儘可能多的人擁有強大AI,使任何一方形不成絕對優勢。歷史裏技術濫用常因少數人獨佔,擴散後才進入互相威懾。
市場機制上,這是敘事分層,不是即期買賣信號。算力與政策預算會按你認的那一類危險分流:認生存風險則流向集中管控、延遲前沿訓練;認濫用則流向開源擴散、軍備對等與反壟斷。實驗室與雲廠商在“誰能訓最大模型”上受益於集中敘事,開源權重與中小部署商受益於擴散敘事。兩邊互罵,是因爲政策函數符號相反。
該帖引用Anthropic預訓練研究員辭職並指控兩家頭部實驗室直奔可自我改進的超級智能;Wong本人稱兩類都擔憂,並要求凡說“AI太危險所以該限制”的人先回答:你怕的是哪一種。
來源:公開信息
ABAB AI 解讀
Wong在2012至2014年執掌Reddit,後辦造林公司Terraformation,近年反覆用回形針最大化與“有尊嚴地滅亡”討論氣候指令被超級智能曲解。他把安全從內容審查裏剝離出來,並指出中國已落地生成內容標識、換臉授權、關閉推薦、禁價格歧視等即時傷害規則,卻幾乎不談NotKillEveryoneIsm。這與Yoshua Bengio同時強調“不會控制超級智能”和“缺少防止人類互害的政治機構”是同一分裂的兩端。
資本路徑上,生存風險敘事要求把前沿訓練權收進少數實驗室與許可證,資本流向可審計的封閉集羣;濫用風險敘事要求把權重量產到終端,資本流向推理芯片、開源棧與軍用無人機供應鏈。OpenAI與Anthropic用安全品牌募集封閉訓練預算,開源陣營用“打破壟斷”募集擴散預算。同一美元在兩類敘事裏買的是相反的治理權。
類比核武器:防擴散是生存邏輯,相互確保摧毀是濫用邏輯,政策不能同時最大化。Hinton推動禁止發展超級智能的法案,與主張全民獲得強大模型的開源派,對應的就是這兩條解。行業處在定義權爭奪,而非已選出解法。
結構判斷屬於監管變化。機制是“危險”一詞未定義時,監管文本會把相反處方寫進同一標題:限制訓練算力在減第一類尾部,卻在加大第二類的能力不對稱;放開權重在減第二類壟斷,卻在增加第一類被任何人觸發的截面。先問是哪一種危險,不是禮貌,是避免把符號寫反。
ABAB News · 認知定律
同一句危險,往往對應兩套相反的解。
怕神失控就集中鑰匙,怕人作惡就複製鑰匙。
爭論停在形容詞時,政策一定寫錯符號。