Property Finder在Bedrock上修正评估偏差

2026年10月28日，AWS Machine Learning Blog 发布文章，介绍 Property Finder 在 Amazon Bedrock 上识别评估偏差、重建标注并优化提示词的工程实践。报道称，Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验，导致任何替代模型在对比中结构性处于劣势。团队重新人工标注 356 张 UAE 图像，将单标签改为多标签分类，并通过 v0 到 v27 的提示词优化循环在 Amazon Bedrock 上选型。报道称最终实现准确率提升且成本降低 86%。报道同时说明：最先标注的 256 张 UAE 图像构成用于调优的开发集；最终模型对比的评估集使用全部 356 张，其中 100 张是在开发运行之后标注的；评估集包含这 256 张开发图像，两个模型的提示词均在这些图像上调优；上述数字为截至 2025 年 12 月美国东部（俄亥俄）区域的估算值。目前尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。