nanochat：48 美元训出你的迷你 ChatGPT

nanochat 是 Karpathy（nanoGPT 作者）写的最简 LLM 训练实验框架，目标是『$100 能买到的最好的 ChatGPT』。它跑在单 GPU 节点上，代码极简可改，覆盖分词、预训练、微调、评估、推理全流程。效果有数字：花 $48（8XH100 节点约 2 小时）就能训出 2019 年要 $43,000 才训得出的 GPT-2 能力模型，训完用简单 CLI 直接对话；用 spot 竞价实例总价可压到 ~$15。想训更大模型只调一个复杂度旋钮 depth（层数），其余超参（宽度、头数、学习率、训练步数、权重衰减）自动按最优方式算出，GPT-2 能力约对应 depth 26。项目还维护 GPT-2 speedrun 排行榜，按 DCLM CORE 分数比墙钟时间：2019 年原版要 168 小时，karpathy 的 baseline d24 用 3.04 小时，d26+fp8 已到 2.91 小时，runs/speedrun.sh 始终是参考训练脚本。上手：克隆仓库、跑 speedrun.sh。适合想彻底搞懂大模型从零到能对话全过程的学习者和求职者；它是学习练手工具，不直接变现，但懂训练的人在 AI 服务市场明显更值钱。