返回快訊

Aakash Gupta:AI正從聊天框轉向屏幕感知界面

Aakash Gupta表示,Farza開發了一款緊鄰光標的AI,能直接看到用戶屏幕並指向答案,Google同期推出類似功能,均押注聊天框只是過渡界面。

通過Cowork等工具,用戶只需截圖競爭對手定價頁並提問,Claude即可直接讀取佈局、識別價值主張層級、升級觸發點及企業版目標客戶,整個過程僅需45秒,無需文字描述。

開發者與產品團隊在事件驅動下加速屏幕上下文AI功能集成,Farza、Google及Cowork等平臺受益於交互效率提升,而依賴傳統提示輸入的AI工具面臨替代承壓,資金流向具備視覺感知的原生AI界面。

來源:公開信息

ABAB AI 解讀

Aakash Gupta長期跟蹤AI產品交互演進,此前多次分析從提示工程到多模態代理的轉變,此番觀點延續其對“AI應直接看到用戶環境”理念的推廣路徑,與Farza和Google同期推出屏幕感知工具高度吻合。

資本路徑上,AI公司通過集成屏幕共享和視覺理解能力,調動計算資源向實時上下文路由傾斜,動機在於消除“用戶翻譯屏幕爲文字”的低效環節,戰略上將AI從對話助手升級爲並行工作夥伴,顯著提升生產力並擴大企業級訂閱滲透。

與早期從文本聊天到GPT-4V圖像理解的躍遷類似,當前AI界面正處於從聊天框主導向光標層/屏幕原生交互轉型的擴張階段,45秒完成競品分析已成爲新基準。

本質屬於技術替代驅動的產業鏈重構。屏幕上下文刪除翻譯步驟,改變了人機交互的定價權結構,機制在於AI直接“看見”用戶界面大幅降低認知摩擦,促使資本從純語言模型向多模態視覺代理集中,實現AI從“輔助描述”向“直接行動”工作流的結構性升級。

ABAB News · 認知定律

聊天框越強大,用戶翻譯成本越高,最終必被視覺替代。
AI看見你所見之時,才真正開始工作而非對話。
每一個需要描述的界面,都是隱藏的AI原生機會。