AutoResearch - AI 自主科研实验

介绍

AutoResearch 是 Andrej Karpathy 发布的一个极简开源项目，核心思想是：把小型 LLM 训练环境交给 AI Agent，让它在夜间自主实验迭代。你睡醒后查看实验日志， hopefully 模型变得更好了。

核心机制

• 单文件编辑 - Agent 只修改 train.py，包含模型架构、优化器、训练循环等全部内容
• 固定时间预算 - 每次训练严格跑 5 分钟，确保实验结果可直接对比（约 12 次/小时）
• 自给自足 - 无需分布式训练，单张 NVIDIA GPU 即可运行
• 人机协作 - 人类迭代 program.md（Agent 指令），AI 迭代 train.py（训练代码）

使用方式

curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync
uv run prepare.py   # 下载数据、训练 tokenizer
uv run train.py     # 手动跑一轮验证 (~5min)

然后让 Claude/Codex 读取 program.md，进入自主实验模式。

适用场景

• 探索小型语言模型的训练技巧与超参优化
• 验证 AI Agent 在代码迭代上的自主能力
• 作为 nanochat 的延伸实验平台

注意

项目设计为在 H100 等高端单卡上运行，但也有社区 fork 支持 MacOS、Windows、AMD 等平台。