固定来源配额下的排序:数学指令数据筛选的受控研究
Xin Huang, Tianle Xu, Changjun Ren, Yuhuang Chen, Heng Zhan, Jiawen Huang, Shijie Jia
聚焦数学推理训练数据集筛选:在相同训练预算下,研究“覆盖更多题目”与“同一道题保留多个解法或变体”的数据分配问题。基于 MetaMathQA 与 Qwen2.5-1.5B,通过固定来源题目及其配额、匹配输入与监督 token 数和训练更新次数,对比题内 LESS 排序与随机筛选,区分题目覆盖、题内排序和实际训练曝光的影响。
Manuscript under submission