VLA-GAUGE:系统评估视觉-语言-动作模型的泛化性与鲁棒性
VLA-GAUGE 是一个统一评估视觉-语言-动作模型(VLA)零样本泛化与扰动鲁棒性的诊断框架,涵盖六大能力套件的分布内/分布外配对任务、单因素敏感性与组合扰动筛选,以及诊断驱动的数据增强与微调。
VLA-GAUGE 是一个统一评估视觉-语言-动作模型(VLA)零样本泛化与扰动鲁棒性的诊断框架,涵盖六大能力套件的分布内/分布外配对任务、单因素敏感性与组合扰动筛选,以及诊断驱动的数据增强与微调。
研究者提出 Visual Artifact Operation(VAO)任务并发布 VAO-Bench,包含 9 类制品、3 个难度等级的 1,573 个经人工筛选任务,采用可执行制品与确定性渲染标注直接编辑、依赖更新与保留约束。
SemEcho 将冻结的 Whisper 语音通路嫁接到 VLTVG 定位宿主上,让语音与文本共享同一解码器,并据此剖析特征模仿蒸馏、词级 CTC 监督和两阶段 ASR 预训练三条语义注入通道。
研究者提出 GRIP 基准,包含 34 个程序化生成的推理领域、100,000 张图像和 600,000 道题,覆盖几何、空间、视觉与物理推理,答案由确定性代码从场景状态直接导出,无需人工标注。
研究团队提出训练数据增强流程 Visual Augmentation Primitives(VAP),用先进视觉生成模型合成逼真训练样本及对应推理文本,并构建贯穿生成过程的多模态推理链,迫使模型每一步都依据视觉内容推理。
研究者提出结构化有状态关系脚本(SSRS),将持久实体与声音身份同镜头特定的视觉、听觉状态分离,并显式编码声源绑定与时间关系,用全局音视频事件序列连接跨镜头延续的事件。同时发布 MSAV-Script-100K 大规模多镜头音视频数据集,配详细 SSRS 标注。实验显示跨镜头一致性、指定状态变化遵循度和音视频对齐均有提升。
HGA-Quant 是一个免训练的后训练量化(PTQ)框架,由尾部感知有界初始化网格精炼(T-BGR)与由粗到细激活精度调度(CAPS)组成,用于降低自回归视觉生成(ARVG)模型的计算与内存开销。在 Infinity 上,该框架以 W4A5.6 的有效激活精度实现接近全精度的图像生成质量,而现有方法在 W4A6 下仍出现明显质量下降或表现不稳定。代码已开源。
TRIG 是一个针对生成图像纹理真实感的评估指标,其骨干网络改用预训练于纹理数据集的 GAN 判别器,以获取自然纹理局部统计的先验。研究在其特征上微调了一个合理性头以识别局部纹理退化,同时将自然失焦与传感器噪声保留为正例,并计算真实参考图与生成图之间的标准分布距离。在多个生成模型上,TRIG 与人类真实感评分的吻合度高于基线指标。
LightVAE 通过将因果 Conv3D 层重参数化为聚合空间响应与差分驱动的时间修正,并对时间修正做低秩压缩,实现视频 VAE 解码加速。
针对扩散模型机器遗忘只能单独擦除物体或风格、无法处理物体-风格组合擦除且多次请求易致灾难性遗忘的问题,作者提出 Domain Manifold Unlearning(DMU),用从扩散中间特征提取的 EMA 更新特征代理表示保留的目标物体方向,实现对特定物体中域相关成分的选择性遗忘。实验显示 DMU 显著缓解灾难性遗忘,在批量遗忘与顺序遗忘上均优于现有方法。
MvFFN 通过多视图有序墙体实例分割(MOIS)让每张全景图仅预测自身观测墙体及顺时针相邻两面墙,再由确定性聚合与 Layout Chaining 后处理生成共享全局坐标的多房间户型图。
研究提出 RoboFake 概念:给人形面部机器人换上真人面孔并用生成语音驱动,摄像头拍摄真实物体、不修改任何像素,即构成一种新的面部伪造。团队用六个在 FaceForensics++ 上训练的公开检测器测试物理唇形同步机器人视频、同款机器人的合成视频及渲染机器人面孔,阈值固定在 FaceForensics++ 上。
Pristine Models 是一种新的文生图架构,通过注意力机制将安全与不安全知识分离到独立参数化的分支中,不安全分支可在推理时断开。在 ImageNet 上,它比仅用安全数据训练或事后概念移除的图像质量更高、文本对齐更好,同时保留全量数据预训练的大部分效用;该方法在 CC12M 上同样有效。
研究者提出 Bemula,首个专门评估 LLM 智能体记忆遗忘能力的基准,包含 50 个多轮对话实例、6 类共 135 条遗忘请求和 1742 道测试题,每段对话配有不含请求的对照版本。在三种主干 LLM 下评测六种主流记忆系统,所有系统端到端通过的遗忘请求均不超过 1.5%,多数系统一条都未通过,要么信息仍可被简单攻击提取,要么删除范围远超请求。
研究者提出智能体遗忘问题,即从 LLM 智能体中移除私有信息,需覆盖参数知识、持久记忆和工具调用获取三条信息通道。为此推出 Agent Unlearning Benchmark(AUBench),将 TOFU 的虚构作者设定扩展至带持久记忆、离线网页快照和工具可访问文档的智能体环境,并追踪交互轨迹。评测显示现有参数级与记忆级遗忘方法存在模型级遗忘与系统级智能体遗忘之间的差距。
PhysCodeGym 是一个面向物理可验证 4D 重建的编码智能体基准,包含 156 项任务,覆盖刚体、液体、可变形体和风驱动运动。智能体自主查看视频、编写并运行 Blender 程序,并借助仿真反馈修正场景,评测采用 6 项指标结合规则测量与评分表判断。实验显示前沿编码智能体在推理投入设置下存在产物质量与完成度之间的权衡,反事实测试还暴露出通过常规物理检查的重建中潜在的接触与支撑失效。
一项审计发现,生产级 Text-to-SQL 系统的设计置信度分数区分对错能力较弱:在 BIRD dev 的 1534 道题上(GPT-5.1 作答、每题 5 个样本),AUROC 仅 0.624,并会扣留 35.7% 的正确答案。
研究者提出 Neural Bayesian Networks(NBNs),将贝叶斯网络中每个条件分布替换为可微分的张量值机制,图结构与分解方式保持不变,从而可表示任意可学习的条件分布并原生运行于 GPU。团队同时发布基于 PyTorch 的 NBN 库及公开基准,在大规模网络和大批量查询上借助 GPU 并行实现两个数量级的加速。
EvoWeb 是一个面向编码智能体的基准,包含 32 个 Web 应用上的 320 条累积请求,按功能依赖图组织,智能体需迭代修改持久化代码库,并由多模态 Web 智能体在真实浏览器中测试每个中间应用。实验显示开源与闭源前沿模型之间存在明显性能差异,跨请求集成是主要挑战,依赖更深或更多的后续请求解决准确率更低,运行时错误随请求推进愈发频繁。
研究者提出递归环境缩放(RES)框架,在保持任务目标与完成要求不变的前提下改造现有 benchmark 环境,通过提议者调整信息访问、资源关系与执行依赖,并经执行验证后跨轮继承。
研究者提出 TRAP 工具结果重放攻击,用于探测 LLM 智能体中的工具结果错误绑定(misbinding)问题,并发布 ReplayBench 基准,覆盖 19 个智能体场景、4 类失败属性和 3 种重放机制。
针对 Mamba 超分模型低比特训练后量化中 selective scan 导致不同空间 token 激活范围差异大的问题,研究者提出 Token-Group Quantization 框架,用轻量预测器从 pre-scan 特征推断分组,静态选取离线校准的分组裁剪边界表,无需运行时统计或 post-scan 分组。
TeSearch 将测试反馈作为自进化智能体的可执行改进信号,用质量-多样性进化算法搜索既小又强的测试套件,并把套件规模作为行为描述符、在搜索中学习转移核以去噪 LLM 的动作。
FARL 是一个全自动强化学习设计框架,通过联合搜索观测与奖励程序、学习算法和训练配置,并利用训练统计与行为诊断失败、提出修改并验证是否改善学习。在 Adroit Hand Relocate 任务上,FARL 以每策略 5M 训练步达到 97.1% 成功率,而 Eureka 和 LiMEN 为 0%,原生 PPO 为 1.0%。该框架在导航、运动与操作任务上均优于所评估的自动化基线。
研究者提出 ReState,一个将多模态推理从阶段驱动流水线重构为状态驱动动态过程的统一迭代推理框架,包含统一推理状态建模(URSM)与闭环推理-状态学习(CRSL)两部分。
Agent-Canary-Mas 是面向长时程多智能体任务的协议风险端到端评估系统,覆盖 A2A、ANP、BCS 三类协议的 5 个风险类、13 个子类,含五个业务领域 975 对匹配的恶意—良性任务。
CoverSynth 是一种从无标注语料出发、以覆盖检索需求和系统能力为目标的检索评估集生成器,通过确定性检查定位证据引文、模型检查评估语义有效性来保证 ground truth 可靠。
研究在类数独的小型离散世界中测试深度递归模型的规则泛化能力,训练覆盖多种规则组合,并在四个新颖性层级上评估。以符号描述或两个已解示例提供规则时,在新规则组合上描述达 99%、示例为 95%;当规则组件在训练中从未共现时,描述低于无信息基线,示例仍高于基线。该框架比 ARC-AGI 等基准更系统地检验泛化情形,为评估深度递归推理模型提供新依据。
研究团队提出 ASIWorld 生存沙盒,结合持久世界与角色状态、角色范围观测和可编程异步接口,用于评测自主智能体的持续目标执行能力。在九种智能体配置的探索性研究中,八种完成生产任务,六种同时完成两项任务;执行轨迹分析显示任务结果相近的配置在准备、战斗和恢复行为上存在差异,准备不足与进度停滞相关。
CUSE 是一个面向多模态大语言模型的反事实引导在线自蒸馏遗忘框架,通过移除目标相关证据构造反事实输入,依据 token 概率变化定位需要更强遗忘的 token,再以冻结的原始模型为教师、结合遗忘与保留两类特权上下文,对当前策略采样响应做 token 级蒸馏。在 MLLMU-Bench 上,CUSE 将遗忘集 ROUGE-L 降低 33.6%,保留集 ROUGE-L 比最强基线高 1.2%。
研究者提出先在 GPT-5.4-nano 等前沿模型上用真实流量反馈打磨提示词行为,收敛后再把记录下来的生产行为通过 SFT 蒸馏进小模型。在居家护理调度智能体上,用 11.6k 条生产决策训练的 LoRA 微调 Qwen3-8B 与教师模型一致率达 0.913,而 GPT-5.4-nano 重跑自身记录提示词的自一致率仅 72.7%。