Repository Issue Activity (beta)

#804 [Feature Request] add On-Policy Distillation (OPD)

#764 MiniMind+Twinkle 线上训练服务

#801 [Feature] 独立可插拔 MoE V2 模块 + moe_type 切换机制

#800 分享自己学习 MiniMind 源码写的精读笔记

#799 有没有出更多数据集的打算

#620 如何让模型学会100内的加减法？

#796 benchmark 跑分与声明不一致问题

#797 关于 MoE aux_loss 中 top-k 维度归一化的疑问

#793 [Learning Resource] 26 standalone lessons for learning LLM from scratch (inspired by MiniMind)

#795 【学习】一个简单的Tensor Parallel实现

#736 uv管理环境的选择

#782 模型在根据Skypile自建中文数据集上训练效果显著差于官方QA拼接数据，求分析可能原因

#786 [not issue] 训练实验数据分享

#790 train agent多卡训练结束时退出同步似乎有个bug

#773 寻求合作贴

#787 LoRA实现似乎有些问题

#783 distillation 学生模型初始化

#781 Bug: AutoTokenizer.from_pretrained fails with relative path in newer transformers/huggingface_hub

#777 使用自己528条数据集跑的模型效果，是不是模型权重被破坏了？

#732 【建议】求大佬讲一讲数据部分，从原始数据如何处理以及配比到现在的数据

#775 GRPO 训练里 ratio 恒等于 1，clip 机制其实没起作用

#771 Windows pyarrow/torch DLL conflict issue

#772 4070ti 10个小时了还没预训练完正常吗？

#768 关于v2版本的数据

#767 关于rollout_torchengine计算full_mask