苹果研究发现数据受限时双语预训练优于超参数搜索

2026年10月13日，苹果机器学习研究团队发布研究。该团队通过约1000次预训练实验发现，在数据受限的语言模型训练场景中，混合高资源辅助语言数据比超参数调优更有效。研究在150M至1.43B参数的模型上进行，结果显示数据混合带来的性能提升相当于目标语言数据量的2至13倍，且模型越大增益越显著。研究建议优先调整数据混合比例，并指出可通过μP方法将小规模代理模型的超参数迁移至大模型。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。