Perplexity研究負責人：用GRPO+門控獎勵把Qwen3.5打造成高效搜索agent
Perplexity 研究團隊發表技術文章，詳細公開其網頁搜索 agent 的後訓練流程：以開源 MoE 模型 Qwen3.5-122B-A10B 與 Qwen3.5-397B-A17B 爲基礎，採用“兩階段後訓練”方案，先通過監督微調（SFT）建立指令遵循、語言一致性、拒答和安全等“部署必需行爲”，再通過在線策略強化學習（RL）在真實工具環境下優化搜索準確率與工具使用效率。 RL 階段使用 GRPO（Grouped Relative Policy Optimization）算法，訓練數據由兩部分構成：一是自研合成的多跳可驗證問答數據集，從內部種子查詢出發構造 2–4 跳實體鏈問題，並用多個獨立 web 求解器驗證答案唯一性；二是基於 rubric（評分標準）的通用對話數據，將格式約束、指令遵循和安全規範拆解爲可自動檢查的原子條件，用於在 RL 階段持續約束行爲，避免 SFT 已建立的“好習慣”在強化過程中退化。
獎勵設計的核心是“門控聚合”：只有當基線任務正確（例如問答答對或 rubric 全部通過）時，偏好獎勵纔會參與計算，這樣可以防止“語氣、風格更討好”的回答在事實錯誤時仍獲得高獎勵；效率懲罰採用組內錨定方式，對同一問題組內的多個正確軌跡，以最少工具調用/最短輸出爲錨，對超出部分施加平滑懲罰，從而在不犧牲正確率的前提下抑制過度調用搜索工具和囉嗦回答。 在 FRAMES 基準上，後訓練後的 Qwen3.5-397B-SFT-RL 在單次工具調用預算下達到 57.3% 準確率，比 GPT-5.4 高 5.7 個百分點、比 Sonnet 4.6 高 4.7 個百分點；在中等預算（4 次工具調用）下準確率 73.9%，按公開 API 定價折算成本約 0.02 美元/查詢，而同一預算下 GPT-5.4 爲 67.8% / 0.085 美元，Sonnet 4.6 爲 62.4% / 0.153 美元，顯示其在“準確率–成本”曲線上明顯處於優勢位置。
來源：公開信息
ABAB AI 解讀
這套後訓練方案的關鍵思想，是把“合規/格式/安全”與“搜索能力/工具效率”分拆成兩個階段優化：先用 SFT 把模型“教乖”，再用 RL 在工具環境裏“教會搜”。單階段 RL 很容易讓模型在追求獎勵時犧牲原本 SFT 建立的守規行爲，例如過度簡化回答、忽視格式或安全約束；Perplexity 通過在 RL 數據中加入 rubric 化的通用對話，並用門控獎勵機制確保“先要對，再談好”，在實際訓練曲線上壓制了這類 reward hacking。
合成的多跳可驗證問答數據集解決的是“可監督性”問題：真實用戶搜索問答往往沒有唯一標準答案，難以構造清晰的 RL 信號，而通過實體鏈生成的問題可以在多個 web 求解器間交叉驗證，只保留唯一答案的樣本，這爲搜索 agent 提供了一個高信噪比的訓練靶標。 同時，rubric 化的通用對話數據，則保證模型在處理非純檢索類任務（改寫、規劃、長對話）時，仍能在 RL 階段被持續“提醒”遵守格式、引用與安全約束——這使得 agent 在真實產品環境中既能搜索，又不輕易“忘記”部署要求。
在效率維度，組內錨定的懲罰設計非常符合工程現實：它不是簡單地懲罰所有工具調用或長輸出，而是隻在同一問題的“多個正確策略”之間做相對比較，用最經濟的那條軌跡作爲標尺，對冗餘調用和冗長回答施加溫和壓力。 這種設計避免了“一刀切”式削減工具調用導致的準確率斷崖，同時引導模型逼近一個“用夠、不濫用”的工具策略——這也是其在 FRAMES 等基準上，能在相對較低工具預算下取得更高準確率的原因之一。
從行業格局看，這篇文章把“開源大模型 +自建 RL 訓練管線”的路線推到了一個新高度：Perplexity 並未依賴自有閉源基座，而是用 Qwen3.5-122B/397B 這類可商用開源模型，通過複雜的後訓練工程，把它們打造成在搜索任務上能對標甚至超越 GPT-5.4 與 Sonnet 4.6 的專用 agent。 這對未來生態有兩點啓示：一是模型本身的重要性在邊際下降，數據與獎勵設計開始成爲主要差異化來源；二是“垂直任務+開源基座+重後訓練”的組合，有現實機會在特定賽道上壓過通用閉源模型，同時大幅降低成本——FRAMES 上“+6 個百分點準確率 / 成本僅爲 GPT-5.4 的 1/4”的對比，是這一趨勢在搜索場景中的具體體現。