微軟開源Phi-Ground模型家族，精準解決AI“該點哪裏”難題
微軟開源Phi-Ground模型系列，專爲AI操控電腦設計。輸入屏幕截圖+指令，模型可直接輸出精確點擊座標。
4億參數開源版本搭配大模型指令規劃，在Showdown基準測試中點擊準確率超過OpenAI Operator和Claude Computer Use，並在ScreenSpot-Pro等五項評測中拿下百億參數以下全部第一。
訓練關鍵發現：座標當作普通數字輸出、文字指令置於圖片前輸入、採用DPO強化學習提升視覺任務準確率；針對4K高分屏小元素問題，採用縮小貼白底畫布模擬訓練，在Photoshop等複雜軟件上效果顯著。
來源：公開信息
ABAB AI 解讀
微軟Phi團隊此前已推出Phi-3/Phi-4系列，此次Phi-Ground專注GUI Grounding（圖形界面定位），通過4000萬+規模數據驗證，推翻了學術界此前常用的位置詞彙表（special position tokens）做法，直接用數字輸出座標大幅提升穩定性。
資本路徑上，微軟將資源集中投入視覺-語言-動作統一建模，通過開源4B版本降低開發者接入成本，同時結合自有大模型規劃能力，形成端到端電腦操控Agent閉環，加速從聊天AI向真正自主電腦操作Agent的轉型。
類似Anthropic Claude Computer Use和OpenAI Operator的路徑，Phi-Ground當前處於GUI Agent從封閉演示向開源高性能落地的擴張早期階段，硬件-軟件協同訓練（尤其是高分屏模擬）成爲核心差異化。
結構判斷：本質屬於技術替代。Phi-Ground通過“文本先於圖像+純數字座標+DPO視覺強化”讓AI直接替代人類鼠標操作，機制在於解決視覺定位這一長期瓶頸，推動資本與開發者從通用大模型向專業GUI Agent工具鏈集中，加速AI對桌面生產力的全面替代。
ABAB News · 認知定律
座標不是特殊語言，就是普通數字，越簡單越穩。
先看指令再看圖，纔是真正會“找東西”的AI。
誰先把AI鼠標練得比人準，誰就掌握下一代人機交互的定價權。