推荐起点
MiniMind 详解：从零训练一个小型语言模型
介绍 MiniMind 的 64M 模型、原生 PyTorch 训练阶段、推理方式和可复现实验路径。
MiniMindMiniMind LLM tutorialtrain small language model from scratchMiniMind PyTorch
开始阅读 →Loading page…
浏览这个开源系列的全部 9 篇文章。 A hands-on series for learning small language-model training from tokenizer to serving.
推荐起点
介绍 MiniMind 的 64M 模型、原生 PyTorch 训练阶段、推理方式和可复现实验路径。
建议阅读路径
01 → 09
介绍 MiniMind 的 64M 模型、原生 PyTorch 训练阶段、推理方式和可复现实验路径。
先跑推理，再分阶段验证预训练、SFT、API 服务和留出集评估。
覆盖 Python/PyTorch 环境、单卡或多卡训练、checkpoint 管理、API 服务和评估。
从原生 PyTorch 模型、数据管线、Pretrain/SFT/RL 到 API 和 WebUI，追踪系统边界。
以最小训练夹具追踪 tokenizer、原生 PyTorch 前向、训练循环、保存恢复和 OpenAI API。
从数据吞吐、显存、训练阶段到评测质量、推理延迟和实验总成本，建立可复现基准。
覆盖数据血缘、模型构件、OpenAI 兼容 API、工具调用、凭据、监控和事件恢复。
比较 MiniMind、较大开源模型微调、纯推理运行时、托管 API 和教学 Notebook。
用版本化数据、阶段收据、评估卡、checkpoint 血缘、安全服务和证据门禁组织实践项目。