Perplexity開源Apple芯片推理引擎Lily

Perplexity開源本地推理引擎Lily，專爲Apple芯片上的Qwen3.6-35B-A3B打造，用於其Computer產品的混合計算，避免端側算力拖住任務。

Lily是單進程運行時：Rust加載權重並驅動生成循環，手寫Metal內核執行模型，執行路徑不含PyTorch或MLX。對外提供最小OpenAI兼容聊天補全接口，僅做貪心解碼。代碼放在pplx-garden倉庫，許可Apache-2.0。

目標權重是MLX仿射4bit、組大小64的Qwen3.6-35B-A3B，約194億字節；加載時校驗精確架構與量化佈局。稠密版、更小Qwen、BF16、GGUF、AWQ、GPTQ、int8與fp8均不支持。官方基準鎖定mlx-community該檢查點的固定修訂號。硬件要求Apple GPU family 10及以上（M5及更新），Metal張量運算需較新macOS，Rust版本由工具鏈文件釘死。

公司在40核、128GB統一內存的M5 Max上測得相對MLX-LM平均預填充約1.23倍、解碼約1.35倍。4K提示加4K解碼上下文時，預填充約5749.9 token/秒、解碼約186.6 token/秒，對照MLX-LM約4737.5與140.9。最大預填充增益來自GPU駐留專家路由約89%、反量化融入分組GEMM約77.4%；推測解碼反而拖慢約18%。質量對照中困惑度僅高0.04%，首位token一致率約96.35%。

Qwen3.6-35B-A3B爲稀疏混合專家：總參約350億，每token約激活30億，路由器每步選256個專家中的8個再加共享專家；結構混用全注意力層與Gated DeltaNet。Hybrid Compute把重推理放雲端，本機模型處理私有文件與應用。產品側混合計算列出macOS 15+、內存下限24GB、32GB更穩。

機制上，買方是要在Mac上跑通私有任務的Computer用戶與開發者，賣方是把端側引擎開源、把雲端推理繼續留在自家產品裏的Perplexity。事件由端雲分工驅動：權重來自阿里系Qwen開源線，運行時由美國公司用Metal特化；受益方是M5級高內存機器上要壓低本地點火延遲的人，承壓方是通喫多模型的通用框架，在這一檢查點上讓出吞吐。

公開信息未給出非M5機型的完整對照，也未承諾後續會支持第二款模型。

來源：公開信息