MIT CSAIL研究：GPT-6 Astra可通過純推理讀取並編輯神經網絡權重
MIT CSAIL研究人員於11月2日發佈博客，介紹“Weight-Space Programming”（權重空間編程）。該團隊使用前沿模型GPT-6 Astra，通過純推理讀取並編輯其他神經網絡的內部權重，無需梯度下降或訓練循環。
在測試中，Astra僅憑原始權重即可識別小型策略網絡所訓練的遊戲（例如從約1.7萬權重中以99%置信度判斷爲Breakout）。針對0.8億參數的Qwen3.5-0.8B模型，Astra識別並移除導致推理循環的特定方向，僅編輯約0.016%參數，將MATH-500準確率從7.9%提升至48.1%，同時改善指令遵循並推廣至其他任務。
研究團隊包括Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab，均來自MIT CSAIL。他們公開了完整細節、日誌與實驗，稱前沿LLM已能原生讀取、寫入並推理神經網絡權重，可能對優化與可解釋性產生重要影響。
原始來源：
標題：Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights 發佈者：Rikiya Takehi等（MIT CSAIL） 發佈日期：2026-11-02 URL：https://rikiyat.github.io/blog/weight-space-programming/ 來源性質：研究人員官方博客 覈驗情況：本次讀取完整博客（2026-11-02覈驗） 支持內容：支持正文全部核心事實，包括Weight-Space Programming定義、GPT-6 Astra通過純推理讀取/編輯權重、遊戲識別實驗、編輯0.016%參數將Qwen3.5-0.8B的MATH-500從7.9%提升至48.1%並改善指令遵循、團隊成員與公開日誌
ABAB AI 解讀
Weight-Space Programming的核心是讓通用LLM直接對神經網絡權重進行推理與修改，而非依賴傳統優化器（如Adam）或梯度下降。實驗顯示，Astra能從原始權重推斷網絡行爲（如遊戲類型），修復失敗策略（例如將卡在坡道的汽車策略修復至100%成功），甚至從零編寫小型遊戲網絡並超越經大量PPO訓練的基線。
在Qwen3.5-0.8B實驗中，Astra定位到第15與第19層MLP中的特定方向導致推理循環（模型卡片本身已提示該問題），通過編輯約13萬權重（0.016%）予以移除。該修改不僅大幅提升數學基準，還改善IFEval指令遵循，顯示一定程度的泛化。研究者強調未允許模型編寫訓練循環，僅通過自然語言規格與有限前向傳遞預算完成編輯。
此爲早期結果。團隊指出能力令人興奮但仍受上下文長度與工具限制，未來權重或可由LLM原生優化。社區討論中，部分研究者關注其在小模型上的有效性、對災難性遺忘的影響，以及是否代表可解釋性與優化範式的轉變。日誌已公開供復現。
ABAB News · 認知定律
GPT-6 Astra通過純推理讀取並編輯權重，無需梯度下降或訓練循環。
僅編輯0.016%參數，將0.8B模型MATH-500從7.9%提升至48.1%，並改善指令遵循。
團隊稱前沿LLM已能原生處理神經網絡權重，可能影響優化與可解釋性。