返回快讯

Replit创始人Amjad Masad:灭绝风险并非AI真威胁

Replit创始人Amjad Masad回应一则关于人工智能批评者的评论时称,人工智能风险很多,他尤其担心网络安全;但“灭绝风险”——即百分之百人类死亡——完全不在其列。被引用的评论认为,部分批评者陷入所谓“人工智能精神病”,并非冷静观察者。

Masad将风险排序从物种存亡下调到可观测的系统入侵。网络安全是已在真实网络中发生的攻击面,模型被用于发现和利用漏洞的讨论已进入防务与产业政策。灭绝叙事则把超级智能写成必然杀死所有人的终点,他用“remotely”排除其作为当前决策权重。

“人工智能精神病”并非临床诊断,多指部分使用者在长期对话后强化妄想或依赖。美国心理学会等机构将其当作心理健康与产品安全问题跟踪;亦有官员和投资人将其比作社交媒体早期的道德恐慌,认为更多是既有病症的出口。两边争的是监管语言该写物种还是写用户与网络。

Replit面向开发者代理与代码执行,产品暴露面正在代码仓库、密钥和环境,与聊天陪伴不是同一条伤害路径。创始人强调网络风险,等于把公司场景里最接近的危害说出来,同时拒绝把产品放进末日账单。

市场机制上,这是叙事定价。买方是要为模型买保险和合规预算的企业;卖方是用灭绝或精神病定义监管范围的倡议方。资金流向红队、补丁和访问控制,而不是物种级停摆基金。受益的是把危害写成可修漏洞的开发工具商;承压的是把百分百死亡写成立法前提的倡议。事件由公开表态驱动,不改变当日模型能力。

补充层面,百分百灭绝被排除,不等于排除大规模网络事故。精神病一词在政策辩论里被双方互相指认,缺少统一医学标准。

来源:公开信息

ABAB AI 解读

末日叙事把尚未出现的超级智能写成全人类死亡,网络安全把已经出现的模型写成入侵工具。Masad选后者,是开发者公司的风险表:Replit的代理会碰仓库和运行时,漏洞会变成事故,灭绝不会变成工单。Sacks一侧把部分安全批评写成失去冷静,是把监管语言从能力评估改成心理标签。两边都在争谁有权定义“严肃风险”。

资本路径是“可投保危害优先于不可计算危害”。企业预算能买渗透测试和模型护栏,买不了反灭绝保单。有效利他主义圈曾把生存风险写成捐款主题;产业和部分白宫顾问把同一笔注意力拧向网络攻防升级周期。钱跟着能报价的风险走。动机不是否认模型会变强,是拒绝让百分百死亡成为暂停训练的充分条件。

对照Yudkowsky式“造出来就全死”与国家安全圈把模型当网络武器:一条要停建,一条要先给防守方模型。行业阶段从哲学停火辩论转入漏洞市场。控制权在谁能把危害写成补丁周期。

结构变化属于监管变化。机制是:立法若采用灭绝条款,训练算力本身成为管制对象;若采用网络与心理健康条款,管制对象变成部署、日志和未成年人使用。创始人排除灭绝,是把监管箭头从训练集群拔出,插回产品和基础设施。

ABAB News · 认知定律

  1. 能变成工单的风险,才会变成预算

  2. 百分百死亡写不进补丁,写得进口号

  3. 先争风险定义,再争谁有权关机