返回快讯

开源项目MiniMind两年获约六万星

GitHub项目MiniMind以约64M参数、单卡NVIDIA 3090约两小时、租卡约人民币3元从零训出可对话小模型为卖点,仓库约2024年7月创建,星标升至约6万量级。

作者账号jingyaogong主页标注Nanjing University,提交高度集中于一人。文档写明“两小时、三元”对应单卡3090上SFT阶段1个epoch的实测与租卡价,不是全链路总价;预训练单独约1.21小时、约1.57元。主线minimind-3为8层、隐藏维768、词表6400,结构对齐Qwen3;另有MoE版总参约198M、激活约64M。实现用原生PyTorch覆盖预训练、SFT、LoRA、DPO、PPO/GRPO/CISPO、蒸馏、工具调用与Agentic RL,不依赖transformers、trl、peft高层封装。推理可接llama.cpp、vLLM、ollama,并提供兼容OpenAI协议的服务与网页聊天。衍生MiniMind-V、MiniMind-O与扩散语言模型分支。

64M约等于GPT-3参数量的1/2700,能做基础多轮与简单工具调用,不承担前沿模型任务。项目把教学对象从“会调LoRA”改成“能读完一条训练循环”。

市场机制上,这是开源教学仓库对云上微调课的分流。受益方是要看懂循环的个人开发者与租卡平台的短时订单;承压方是只卖封装微调模板的教程商。星标是注意力,不是收入。资金停在每小时约1.3元的3090租金,不进入新的基础模型公司。

星标增速证明题目有效。模型能力边界仍由64M决定,全链路脚本不等于可商用底座。

来源:公开信息

ABAB AI 解读

把训练循环写成可在一张消费卡上跑完的教材,是对“大模型只能看论文”的反击。作者几乎单人提交,说明这类项目仍靠个人把算法从库里拆回原算子。Qwen3对齐降低了词表与推理生态的摩擦,却也把小模型绑在既有中文生态上。三元钩子卖的是SFT一小时,全链路加上预训练与强化学习会回到数十元与数十小时,文档自己把口径收窄。

资本不会按6万星给64M估值。会按“工程师是否真正理解GRPO”给人力估值。高层封装课继续卖速度,原生实现仓库卖可读性,两条市场并行。衍生视觉与全模态是同一作者把课程扩展成系列,而不是数据中心级预训练。

对照nanoGPT、Karpathy课程与各校从零写Transformer作业。行业从调用API进入复现循环:谁能在一张卡上走完对齐算法,谁就具备改算法的资格。

这属于技术替代:黑盒微调课被可逐步运行的最小闭环替代。机制是参数裁到消费卡能装下,算法留全,成本叙事才能传开。

ABAB News · 认知定律

  1. 能在一张卡上跑完的循环,比只会点微调更接近原算法

  2. 两小时三元写的是一阶段,不是全部训练史

  3. 星标衡量题目好不好懂,不衡量模型有多强