GitHub热榜
模型与训练涨星 +488榜单日期 2026-11-22整理:AI雷达增益 0捕获 0

MiniMind:2小时3元从零训练64M小模型

花3块钱、2小时,在单张3090上从零训出一个64M参数的大语言模型——这是GitHub上最火的LLM入门项目。想搞懂大模型到底怎么炼成的,读它的全流程代码比看十篇教程都管用;但对想直接变现的读者来说,它是内功不是工具。需要Python基础和一张能跑PyTorch的GPU(或临时租卡)。

项目自述 · 据 README 提炼

想亲手训练一个大模型,却被天价算力和庞杂论文吓退?MiniMind 证明这事可以便宜到离谱:仅用约3元成本、2小时时间,就能在单张 NVIDIA 3090 上从0训练出约 64M 参数的迷你语言模型,体积约为 GPT-3 的 1/2700,普通个人 GPU 也能完成训练与复现。项目最大的价值是把大模型训练全链路拆开给你看:数据清洗、预训练(Pretrain)、监督微调(SFT)、LoRA、RLHF(DPO)、RLAIF(PPO/GRPO/CISPO)、Tool Use、Agentic RL、自适应思考与模型蒸馏一应俱全,还包含 MoE 结构,并拓展出视觉模态模型 MiniMind-V 和 Omni 模型 MiniMind-O。所有核心算法均用 PyTorch 原生从0实现,不依赖第三方库的高层抽象接口,基于 Apache 2.0 协议完全免费,另有在线体验和视频介绍。上手方式:克隆仓库,按 README 从数据清洗开始依次跑预训练、SFT 等脚本,在租来的 3090 上即可复现。它适合想真正搞懂大模型原理、补齐 AI 实战经历的学生与求职者;如果你只想调用现成 API 快速做产品赚钱,这个项目更像是打底的内功,而非直接的变现工具。

jingyaogong/minimind · 创建于 2 年前

2026-11-22 榜单 · ★ 68,185(进页自动刷新) · 本期涨星 +488 · Fork 8,661 · 语言 Python

标签:artificial-intelligence / large-language-model

GitHub 仓库 ↗   项目主页 ↗

做AI项目,先看AI雷达 - AiRadar.com.cn · 全部GitHub热榜 →