Perplexity开源Apple芯片推理引擎Lily

Perplexity开源本地推理引擎Lily，专为Apple芯片上的Qwen3.6-35B-A3B打造，用于其Computer产品的混合计算，避免端侧算力拖住任务。

Lily是单进程运行时：Rust加载权重并驱动生成循环，手写Metal内核执行模型，执行路径不含PyTorch或MLX。对外提供最小OpenAI兼容聊天补全接口，仅做贪心解码。代码放在pplx-garden仓库，许可Apache-2.0。

目标权重是MLX仿射4bit、组大小64的Qwen3.6-35B-A3B，约194亿字节；加载时校验精确架构与量化布局。稠密版、更小Qwen、BF16、GGUF、AWQ、GPTQ、int8与fp8均不支持。官方基准锁定mlx-community该检查点的固定修订号。硬件要求Apple GPU family 10及以上（M5及更新），Metal张量运算需较新macOS，Rust版本由工具链文件钉死。

公司在40核、128GB统一内存的M5 Max上测得相对MLX-LM平均预填充约1.23倍、解码约1.35倍。4K提示加4K解码上下文时，预填充约5749.9 token/秒、解码约186.6 token/秒，对照MLX-LM约4737.5与140.9。最大预填充增益来自GPU驻留专家路由约89%、反量化融入分组GEMM约77.4%；推测解码反而拖慢约18%。质量对照中困惑度仅高0.04%，首位token一致率约96.35%。

Qwen3.6-35B-A3B为稀疏混合专家：总参约350亿，每token约激活30亿，路由器每步选256个专家中的8个再加共享专家；结构混用全注意力层与Gated DeltaNet。Hybrid Compute把重推理放云端，本机模型处理私有文件与应用。产品侧混合计算列出macOS 15+、内存下限24GB、32GB更稳。

机制上，买方是要在Mac上跑通私有任务的Computer用户与开发者，卖方是把端侧引擎开源、把云端推理继续留在自家产品里的Perplexity。事件由端云分工驱动：权重来自阿里系Qwen开源线，运行时由美国公司用Metal特化；受益方是M5级高内存机器上要压低本地点火延迟的人，承压方是通吃多模型的通用框架，在这一检查点上让出吞吐。

公开信息未给出非M5机型的完整对照，也未承诺后续会支持第二款模型。

来源：公开信息