以太坊联合创始人Vitalik：大模型本地跑受硬件限制，期待小版本优化代理任务

他在讨论本地LLM部署时回应称，700B参数巨模型超出Mac Studio或DGX Spark能力范围，尽管Mac Studio RAM充足但推理速度不足以支撑复杂代理工作，亟需参数更小、效率更高的版本。
​
硬件现实与模型压缩需求

Nvidia DGX Spark定位桌面级AI超级计算机，但700B模型需数百GB显存与高带宽互联，Mac Studio M系列芯片虽有高统一内存却推理吞吐不足代理式任务（如多轮规划、工具调用），这验证了Vitalik对"agentic AI"安全性的长期担忧：本地优先但规模受限，推动蒸馏与量化技术发展。 当前开源路线如DeepSeek、Moonshot的Sonnet蒸馏版已在8-24GB VRAM设备上跑出接近Claude水平，Hugging Face生态正涌现优化ONNX版本，预计小模型将成代理工作主流。

来源：公开信息