Mini-AGI：8GB VRAM 上的动态持续学习模型
来自 Hacker News · 期号 2026-09-21
摘要
一位开发者用 8GB VRAM 训练了一个动态 MoE 模型。核心思路是：训练过程中动态添加和剪枝专家，每次只激活一小部分；同时用 batch-1 在单条连续数据流上训练，省去大 batch 的显存开销。模型从 78 亿字符的语料中顺序读取 32K 字符段落，权重尚未发布。 评论区有人质疑这个方案能否真正学到知识，也有人认为方向值得探索。
来自 Hacker News · 期号 2026-09-21
一位开发者用 8GB VRAM 训练了一个动态 MoE 模型。核心思路是：训练过程中动态添加和剪枝专家，每次只激活一小部分；同时用 batch-1 在单条连续数据流上训练，省去大 batch 的显存开销。模型从 78 亿字符的语料中顺序读取 32K 字符段落，权重尚未发布。 评论区有人质疑这个方案能否真正学到知识，也有人认为方向值得探索。
本站只做摘要与索引，全部内容版权归原作者所有。