ISA-Bench: Benchmarking Instruction Sensitivity for Large Audio Language Models

发布时间:2026/10/22 7:07:46
ISA-Bench: Benchmarking Instruction Sensitivity for Large Audio Language Models 文章总结与翻译一、主要内容研究背景:大型音频语言模型(LALMs)结合声学感知与大语言模型能力,可从音频中提取多样信息,但现有模型对指令表述高度敏感,会影响指令遵循率和任务性能,而目前缺乏系统全面的相关基准测试。核心贡献:提出ISA-Bench基准测试,从指令描述(D维度)、输出格式(F维度)、任务组合(N维度)三个维度动态评估LALMs的指令敏感性。测试设计:涵盖5类原子任务(自动语音识别ASR、语音到文本翻译S2TT、语音情感识别SER、性别识别GR、音频字幕生成AAC)和基于ASR、SER、GR的复合任务;通过LLM重写生成多样化指令变体,采用合规感知指标(MetricIF)和相对性能分数(RPS)进行评估。实验结果:即使最先进的LALMs仍存在显著指令敏感性,指令形式变化会导致性能大幅下降;基于多样化指令的监督微调(SFT)可提升指令遵循能力,但会引发严重的灾难性遗忘(模型丢失已掌握的任务能力);不同模型各有优劣,DeSTA2.5-Audio指令遵循能力最优,Gemini 2.5 Pro在JSON格式约束下表现不佳,GPT-4o-Audio存在性别识别缺陷且输出易含额外评论。研究意义:为评估和改进LALMs的指令敏感性提供标准化基准,强调真实场景中音频理解需具备指令鲁棒性。

关于本文作者

来自尧图内容编辑团队

尧图内容编辑团队 内容团队

尧图内容编辑团队

本文由尧图网络内容编辑团队执笔。团队由资深项目经理、前端工程师与设计师组成,所有内容均来自亲手交付的真实项目,先讲清问题、再给出可落地的解法。尧图深耕北京网站建设十年,服务过京华建材集团、智造科技等各行业客户,把一线经验沉淀为可复用的行业观察。

  • 十年建站经验,覆盖建材、制造、服务、文创等
  • 项目经理把关选题与事实准确性
  • 工程师与设计师联合撰写专业细节
  • 统一编辑规范,保证文风与排版一致
  • 每月复盘转化数据,迭代选题方向

延伸阅读

相关资讯与近期热门内容

深度阅读推荐

建站决策前值得细读的三篇

网站改版的5个关键决策
2024-08-12

网站改版的5个关键决策

什么时候该改版、改到什么程度、如何避免流量掉光,京华建材集团改版复盘给出答案。

获取专属建站方案

看完文章,把您的行业与预算告诉我们,免费获取一份量身定制的官网建设方案与报价。

立即免费咨询