Apple Machine Learning Research·· 19 小时前AI 评分48
Mix, Don't Tune：在数据受限场景下，双语预训练优于超参数搜索
Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
AI 导读
苹果研究团队通过约1000次预训练实验发现，在数据受限的语言模型训练中，混合高资源辅助语言数据比超参数调优更有效。在150M至1.43B参数的模型上，数据混合带来的性能提升相当于目标语言数据量的2-13倍，且模型越大增益越显著。研究建议优先调整数据混合比例，并可通过μP方法将小规模代理模型的超参数迁移至大模型。
来源：Apple Machine Learning Research · machinelearning.apple.com