重新思考贝叶斯优化：JoBS 联合优化 LLM 训练配置

论文提出 JoBS，一种基于贝叶斯优化的方法，可在不进行完整训练的情况下联合优化 LLM 的数据与模型配置。JoBS 先用部分预算学习受缩放定律启发的性能预测器，从少量训练步估计完整训练后的性能，剩余预算用于贝叶斯优化搜索，并推导了预测器学习与 BO 迭代之间的最优预算分配。在多种下游任务上，JoBS 优于独立优化数据与模型的方法及现有多保真度 BO 基线。