返回快訊

Anthropic 2021年內部研究路線圖因版權訴訟曝光

Anthropic在版權訴訟中曝光其2021年7月最後更新的內部文件《Concise Research Roadmap》。該文件由聯合創始人Jared Kaplan撰寫,標註“高度機密,僅限律師查閱”,並保留Dario Amodei、Tom Brown、Amanda Askell等核心研究人員的評論。

文件第一頁提出開發通用AI助手,通過對話幫助用戶創建、編輯與解釋軟件,包括開發瀏覽器插件、編寫函數、發現Bug、設計API以及討論代碼風格與最佳實踐。最終目標是讓AI展現軟件工程師同事所具備的能力。實現路徑包括大規模生成模型、長期記憶,以及通過自動化獎勵與人類反饋進行強化學習。

文件將“RL for Tool Use”列爲重要研究方向,核心是讓大語言模型學會使用工具、理解環境與目標,並通過強化學習改進。具體任務包括搜索與printf調試,並探索工具使用是否能比監督學習獲得更好的擴展效果。Tom Brown提出代碼倉庫瀏覽是簡單而有價值的起點。Nelson Elhage表示主動查找項目中類型定義將是強能力。Andy Jones提出兩條路線:打造最優秀的AI程序員,或先驗證AI使用工具的能力。Dario Amodei回覆短期優先後者,長期優先前者。

Sam McCandlish在文件中擔心如何安全部署非沙箱化工具。Dario Amodei特別強調部署階段執行代碼的工具。Amanda Askell評論指出,如果能力研究集中在代碼領域而對齊研究僅關注自然語言,則可能出現能力增強但對齊覆蓋不足的情況,因此兩者應緊密結合。文件還討論超長上下文、萬億參數規模模型、數據質量與測試時計算等方向。

該路線圖於ChatGPT發佈前制定。資金與研究資源從早期安全與規模化探索流向軟件工程助手與工具使用強化學習。當前Coding Agent、工具調用與長上下文產品與該文件中的具體任務與產品形態討論高度對應。安全部署與能力對齊脫節問題在五年後仍未完全解決。

來源:公開信息

ABAB AI 解讀

Anthropic於2021年由前OpenAI研究人員創立,Jared Kaplan撰寫的該內部路線圖將軟件工程助手作爲通向AGI的具體研究目標。文件在版權訴訟中作爲證據出現,標註高度機密。核心研究人員在評論中已討論代碼倉庫瀏覽、類型定義查找與非沙箱工具部署安全。

公司將模型規模、數據、長上下文、工具使用強化學習與對齊研究納入同一路線。資源從純自然語言對齊轉向代碼領域能力與安全並行。Dario Amodei對短期驗證工具使用與長期打造頂尖AI程序員的優先級排序,體現早期對產品形態的區分。

類似早期內部路線圖在其他AI實驗室訴訟中也曾出現。當前Coding Agent處於從對話輔助向獨立完成軟件工程任務過渡的階段,與文件中軟件工程師同事目標對應。

本質屬於技術路徑的早期鎖定。2021年已將工具使用強化學習與代碼能力作爲核心,使後續產品開發沿該框架推進。機制在於將具體任務(搜索、調試、倉庫瀏覽)與訓練方法(RL、自動化反饋)綁定,使能力擴展與安全部署問題在研究初期即被識別,而非事後補救。

ABAB News · 認知定律

  1. 五年前的內部路線圖,五年後成爲產品功能清單

  2. 能力研究與對齊研究脫節,風險在部署時顯現

  3. 工具使用先於完整程序員,短期路徑決定長期形態