跳到正文
arXiv Artificial Intelligence· Yang Ba, Michelle V. Mancenido, Rong Pan·· 20 小时前AI 评分24

PLDiv:用持久性景观度量数据集多样性与语义坍缩

PLDiv: Measuring Dataset Diversity and Semantic Collapse via Persistence Landscapes

AI 导读

PLDiv 是一种基于持久性景观的多样性度量,从数据集的几何表示量化其结构组织,无需任务特定监督即可给出可解释的标量指标。它在文本生成与图像嵌入的内在多样性测量、指令数据集与推理轨迹的语义坍缩检测上均与所评估基线表现相当,并在语义坍缩时与多样性标签高度一致。该方法可支持合成数据监控、数据集构建、数据增强与生成模型评估。

来源:arXiv Artificial Intelligence · arxiv.org