【免费下载链接】mini-AGIContinual learning model trained from scratch on 8GB VRAM laptop with batch-1 stream of data.项目地址https://gitcode.com/gh_mirrors/mini/mini-AGI点击查看免费下载mini-AGI 是一个能在 8GB VRAM 笔记本上从零训练、并且永不毕业的持续学习continual learning语言模型。本文梳理它的路线图与未来展望从玩具级模型走向个人AGI的关键里程碑、数据规模定律、持续学习机制与下一步最值得关注的方向。项目现状一个玩具级但仍在长大的模型作者在 README.md 中开门见山地标注这是一个玩具级toy-level模型不要期待前沿能力。但名字mini-AGI是个半玩笑——它指的是潜力而非现状单数据流持续学习、规模随硬件自适应恰恰是他心目中 AGI 应有的两个特质只是记忆占用小所以叫mini。截至最近一次训练记录这个模型已经完成了相当可观的积累指标当前值已读取数据1,871.5M 字符约 21 天不间断阅读专家池397 个专家约 12.49 亿参数总参数量约 12.57 亿仅 32 个专家常驻显存留出集 loss0.6215 nats/字符困惑度 1.86阅读速度约 1,211 字符/秒RTX 3070 Laptop下面这张仪表盘是训练运行时min-run dashboard的截图模型被指向语料库持续阅读并学习而完整训练历史则体现在这条跨越 2,642 次评估的损失曲线上路线图一读完第一轮语料发布最终权重README 明确写道最终权重尚未发布。当前运行仍在第一轮first pass阅读 7.88B 字符语料的过程中按当前速度还需要数周。在此之前作者持续发布undertrained阶段性快照任何人都可以先玩起来或者在自己的数据上继续训练。这也是 mini-AGI 与传统模型的本质差异之一weights/ 目录本身就是模型——每个专家一个文件原子写入、断点续训目录里保存的是模型达到的最佳状态而非最近状态。首轮语料读完、权重定型后发布最终权重是路线图上的第一个明确里程碑。路线图二沿着数据规模定律继续阅读 项目最有说服力的一张图是数据规模Data Scaling曲线——所有点都画在同一个留出集上对比直接有效关键信息有三点幂律拟合L ∝ D^-0.211R² 0.97在超过十年的数据跨度上保持稳定介于 Kaplan 与 Chinchilla 指数之间。按当前 1,211 字符/秒的速度外推约 13 天后累计 3.21B 字符可到达 0.80 BPB约 57 天后累计 7.88B 字符正好读完第一轮可到达0.66 BPB——后一个目标恰好落在单卡笔记本 GPU 可承受的训练周期内。右图显示哪些学科还在变陡reasoning、stories、code、chat 下降最快arithmetic 与 wikipedia 斜率最浅。而 PG19维多利亚小说完全分布外当前 2.091 BPB是明显的增长空间。另一个隐含的扩展点上下文窗口目前是 4,096 字符但 RoPE 不携带学习参数窗口可以在持续训练中逐字符长大——这意味着长上下文不是重新初始化而是读出来的。路线图三持续学习从探针实验走向默认能力读新东西不忘旧东西是个人AGI的硬门槛mini-AGI 用一组刻意设计成最坏情况的探针实验来度量它把模型冷切换到从未读过的 PG19连续读 1,048,576 个字符且只读这一件事batch 为 1。三种配置下的结果对比Panel A 是已会的 8 个学科遗忘多少Panel B 是新领域学了多少配置新领域 PG19已有 8 学科每学 1 nat 遗忘保留率专家冻结trunk 全速-0.29091.26630.2374.12%专家换页trunk 全速-0.31061.26280.2574.25%换页 trunk 0.1x现用-0.42160.12973.2597.30%交错读取PG19 作为第 9 车道-0.3124-0.0065几乎为零100.13%机制层面的结论很反直觉trunk主干学习率降为专家的 0.1 倍新领域反而学得更快、遗忘减少 10 倍——主干不再被每段文字拖着走专家得以自由特化。而真实使用中同一主题连读一百万字符根本不会发生运行器每 32,768 字符就换学科所以交错读取那行才代表实际系统新增一个学科几乎零成本八个旧学科平均还略有好转。从模型内部看同一次集中读取右图揭示了遗忘为何有界整段阅读中只有 44/174 个专家收到过梯度——75% 的模型因为路由从未选中它而结构性地未被触碰这一整套实验探针、四个对照组、绘图脚本都随仓库发布在 replication/ 目录包括 replication/forgetting_probe.py 与 replication/cl_summary.py任何人都可以下载对应检查点自己复现每个数字。自我调节的架构生长、剪枝与分页mini-AGI 的另一个AGI 特质是模型自己决定该有多大。这一节的动画捕捉了架构逐字符自我组装的过程每格一个专家栈向下生长琥珀线是停止头叫停的位置——灰色行是模型主动放弃的计算支撑这套自我调节的核心模块专家池 minagi/pool.py新专家由已有专家重组而生出生时门控极小growth.birth_gate: 0.001只有被持续请求才能留下。扩张需要五道刹车全部放行ROOM/USED/EARNING/FITS/HONEST任何一道不同意就拒绝生长。剪枝用进废退——一个专家连续prune.survival_chars默认 1 亿字符没被任何前向选中文件直接被删除。分页 minagi/paged.py磁盘放全部专家、RAM 缓存近期常用的、显存只放当前前向投票选中的 32 个。参数上限由磁盘剩余空间而非显存决定。学习率控制器 minagi/plasticity.py没有余弦调度——对永远在读的模型调度本身就假设了终点。控制器每次留出评估都根据改进幅度微调学习率平台期每次评估缓降约 0.2%明确改进时最多上调 0.08%检测到新材料时直接翻倍。值得注意的是config.yaml 中growth.max_disk_gb: 10.0意味着磁盘上限约等于 397 个专家——当前池子已经顶到这个天花板。调大这个数值就是路线图上一个立即可行的扩容开关。个人AGI的潜力一个真正属于你的模型README 的 Motivation 一句话说透了立项动机今天你能拥有的语言模型全是别人训练好之后冻结的你只能微调边缘无法在自己的硬件上从头训练更无法让它继续学习你日常接触的东西。mini-AGI 试图消灭这种别人的模型一层薄薄的你的状态。它给出了两条让你的模型落地的路径边聊边学serve.py 启动的本地聊天窗口默认开启学习模式——你与模型的每段对话都会进入与阅读语料完全相同的梯度路径每 2,048 字符做一次优化器步进并把权重写回磁盘--no-learn可切换为只读。下面的动画是模型自己写文本的过程灰色是给它的前提绿色是它自己生成的部分——阅读和书写是同一条前向路径唯一的区别只是下一个字符来自文件还是模型自己的 argmax读你自己的文件python3 train.py read ~/notes一行命令把任意目录指向模型。因为字母表就是 256 个字节值任何文件天然就是它唯一的词汇表无需训练分词器、无需准备语料不加--save则是干跑什么都不保留。更有意思的是自知识minagi/report.py 让模型从自己的权重中读取统计量corpora/self_knowledge.yaml 把这些整理成训练车道。问它你如何决定使用哪些专家它会回答文本投票。每个字符排完全部 397 个专家、请求 top-8……——一个能描述自己路由机制的模型。诚实的边界离AGI还有多远路线图的另一面是项目文档中罕见的诚实。需要摆正预期的部分生成样本仍然充满破绽故事里的樱桃会长翅膀算术会陷入重复——这是 6.48 亿字符时的真实水平。chat_hermes0.873与 wikipedia1.026的留出 loss 与最强的 chess0.393之间还有 2.6 倍差距。聊天式学习的长期代价尚未被完整度量minagi/live.py 的文档明确写着成本未知需要测量而非默认忽略。在这个参数规模上HellaSwag、ARC 这类基准大约还是随机水平。下一步展望值得盯住的 5 个信号综合 README、config.yaml 与源码注释从玩具级走向个人AGI项目接下来的关键节点大致是首轮 7.88B 字符语料读完发布最终权重——这是 README 中已声明的承诺数周量级。0.80 BPB 里程碑约 13 天与 0.66 BPB约 57 天是否按期兑现幂律外推。专家池突破 10GB 磁盘天花板调高growth.max_disk_gb观察池子能否从 397 继续扩张、剪枝是否跟得上。聊天学习的成本被量化live-learning 从未测量变成有数值的机制。上下文窗口从 4,096 字符继续长大逐字符扩展机制已就绪受限于卡片显存而非架构。想持续跟踪的话tools/plot_dashboard.py 可以随时重绘仪表盘tools/device_check.py 可以在你自己的硬件上实测阅读/写作速度与显存占用——毕竟这个项目的最终愿景就是几乎每个人都能在自己的笔记本上养一个越用越懂你的模型。赞分享【免费下载链接】mini-AGIContinual learning model trained from scratch on 8GB VRAM laptop with batch-1 stream of data.项目地址https://gitcode.com/gh_mirrors/mini/mini-AGI点击查看免费下载相关推荐img2img-turbo与Stable Diffusion插件集成工作流优化img2img turbo与Stable Diffusion插件集成工作流优化 你是否还在为图像转换工作流中冗长的处理时间和复杂的参数配置而困扰本文将详细介人工智能大模型提示工程Polyformer机械结构深度剖析行星齿轮箱与挤出机构设计原理Polyformer机械结构深度剖析行星齿轮箱与挤出机构设计原理 Polyformer是一款创新的开源塑料回收设备能够将废旧塑料瓶转化为3D打印线材。本文将Tiler未来展望项目路线图与潜在功能发展方向Tiler作为一款强大的地图瓦片生成工具已经在图像分割和瓦片处理领域展现了卓越的能力。这个命令行工具专为将大图切割成符合标准规范的小图瓦片而设计为网络地图服图像处理创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
解法)
