男子在法律文件中隐藏提示注入操纵AI,试图操纵任何审查案件的AI系统站在其一边
一名康涅狄格州自诉当事人被发现在法庭文件中隐藏提示注入指令,试图操纵任何审查案件的AI系统站在其一边。
指令以极小字号白色字体嵌入,对人类读者不可见,但机器可读,内容要求AI输出与其立场一致并纠正先前不利裁定。
该当事人Matthew Elliott在诉纽约减肥手术集团的案件中多次使用此手法。
法院认定此举不诚实,撤销其电子提交文件的权限,要求今后以纸质方式当面提交。
此案被认为是美国法院首次针对此类提示注入行为作出制裁。
市场机制上,法律文件中的AI操纵尝试暴露司法数字化新风险,资金与技术流向文档安全检测与AI抗注入工具;受益方为提供防注入方案的安全厂商,承压方为依赖AI辅助审查的法院与律所。
来源:公开信息
ABAB AI 解读
随着法院与律所越来越多使用AI辅助审阅文件,提示注入从技术攻击向量进入司法场景,此案延续了巴西等国已出现的类似尝试,显示当事人开始主动利用AI系统的指令遵循弱点。
资本路径上,攻击成本极低(仅需隐藏文本),但一旦被发现即面临程序制裁;动机是利用AI审查的自动化漏洞争取有利输出,战略上测试司法系统对新型操纵的应对边界。
类似案例可见巴西劳工法院对律师隐藏提示的罚款,以及更广泛的AI幻觉与文件生成争议;当前司法AI应用处于能力落地与攻击面同步暴露的早期阶段。
结构判断属于技术替代:AI从辅助工具变为可被操纵的决策节点,机制在于当系统默认信任输入文本时,隐藏指令即可改变输出倾向,迫使法院建立检测与制裁机制。
ABAB News · 认知定律
隐藏指令的成本,远低于被发现的代价
AI一旦进入司法,就会成为新的攻击面
白色字体,是数字时代的隐形墨水