医学图像领域的攻击和防御我调研了一段时间。原本是整理组会汇报材料结果越查越觉得这里面的水深得很所以打算把这块内容做一个系统梳理。先说结论医学影像AI的对抗鲁棒性问题远比自然图像领域严重这不是普通的安全加固问题而是直接关系到误诊率和临床落地安全性。本文适合刚接触这个方向的研究生、算法工程师以及想评估自家医疗AI产品安全性的从业者。我会把攻击手段、防御方案、评估指标和踩坑经验一次说透。1. 为什么医学图像对抗安全值得单独做一次调研医学图像AI现在已经不是实验室里的玩具了肺结节筛查、眼底病变分级、骨折检测这些场景都有产品在真实临床环境里跑。但与此同时对抗攻击相关的研究在自然图像领域已经极其成熟而医学图像这边却还像一个还没被充分开垦的富矿。我在调研中最大的感受是很多人把自然图像上的攻击防御原样搬到医学图像上结果发现对不上因为医学图像的各种性质和自然图像差异太大。1.1 先搞清楚医学图像到底和自然图像有什么不一样很多人乍一听觉得医学图像不就是灰度图嘛和ImageNet里面的狗、猫、汽车没什么本质区别。实际上完全不是一回事。我总结了几个关键差异点这几点直接决定了后续所有攻击和防御方法的选择。第一是图像语义的极度敏感性。自然图像里一张猫的照片你加一点肉眼不可见的噪声在分类器眼里它可能就从猫变成了狗这在生活场景里最多就是闹个笑话。但在医学图像里一个像素级的扰动如果让一张CT的肺结节从“良性”变成“恶性”那就是完全不同的诊疗路径。更麻烦的是医学图像的病灶区域往往只占整张图像的很小一部分攻击者只需要在极小的区域上做精准扰动就能改变诊断结论而不需要在整张图上做全局修改。第二是灰度分布和纹理特性的约束。自然图像有丰富的颜色、纹理、边缘语义扰动空间很大。而医学图像以灰度为主像素值范围相对固定比如CT的HU值、MRI的强度分布高频纹理也有其生理学意义。很多在自然图像上效果很好的攻击算法放到医学图像上会破坏原本的组织结构特征扰动痕迹很容易被肉眼识别。这反过来也意味着防御方有更多先验信息可以利用。第三是模态多样性。CT、MRI、X光、超声、病理切片、眼科OCT每种模态的成像原理、噪声分布、图像统计特性都不一样。一种攻击方法在CT上有效搬到MRI上可能效果大打折扣一种防御在X光上表现良好在病理图像上可能完全失效。调研的时候如果只盯着单一模态看结论会有很大偏差。这些差异带来的核心结论就是医学图像对抗安全必须当作一个独立的研究分支看待不能简单把自然图像领域的方法搬过来就了事。1.2 从攻击者视角建立威胁模型做这类调研之前一个容易忽略的步骤是先把威胁模型想清楚。你连攻击者的能力和目标都没定义清楚后面的调研就很容易变成罗列论文。我建议从三个维度去定义攻击者的能力边界。攻击者是否知道模型结构和参数白盒是否只知道推理接口黑盒是否拥有训练数据数据投毒场景还是说攻击者只能通过物理手段影响采集过程物理世界攻击在医学场景里白盒攻击其实相对少见因为大部分临床模型是私有部署的但医院往往会把推理服务外包给第三方厂商或者使用云端AI服务这种情况下黑盒查询攻击是完全可行的现实场景。攻击目标。是单纯让模型出错非定向攻击还是让模型把特定类别识别成指定类别定向攻击在医学场景中定向攻击的意义比非定向攻击重大得多因为攻击者并不只是想让模型“出错”而是想在保留病灶信息的前提下让模型把恶性判成良性或者把某种病变判成另一种病变。攻击时机的选择。是训练阶段投毒还是推理阶段扰动训练阶段投毒在医学场景中的可行性较高因为医学影像数据集的标注成本极高很多机构会使用外部标注团队甚至使用自动标注工具产出的标注这些环节都可能被混合干净的投毒样本。调研时我看到不少研究低估了这种风险大家普遍关注推理时攻击而对训练阶段的威胁关注不够。我整理威胁模型花了不少时间这个环节直接决定了后面阅读论文时的分类方式。有一件事值得特别注意医学图像的威胁模型往往不能只考虑单一的“图像输入”还要考虑整个临床信息系统链条DICOM标准、PACS系统的存储与传输、图像后处理重建算法这些都可能成为攻击面。这属于系统级的安全威胁和单纯在图像像素上做文章不是一回事。2. 攻击方法从经典算法到医学图像专门的攻击这一块是调研的核心我按攻击者的能力和攻击方式划分了四个层次来整理分别是白盒梯度攻击、黑盒迁移与查询攻击、分割检测任务上的攻击以及物理世界攻击。这样分类的好处是逻辑递进清晰——攻击者能力越来越受限制但攻击场景越来越真实。2.1 白盒攻击在医学图像上的表现经典算法到底好不好用白盒攻击假设攻击者完全掌握了模型的结构、参数和梯度信息。这是攻击研究中最理想化的假设却是所有复杂攻击方法的基础。最经典的三个算法是FGSM快速梯度符号法、BIM迭代FGSM和PGD投影梯度下降。FGSM的思路很简单就是沿着损失函数对输入梯度的符号方向一次性添加一个扰动步长用较少计算量快速得到对抗样本。BIM是在FGSM基础上迭代多步每次走一小步然后Clip到规定的扰动范围内。PGD则是BIM的随机重启版本每次迭代从随机初始化点出发。在自然图像上FGSM的攻击成功率其实不高特别是在强模型上往往只有百分之几十。但在医学图像上我发现一个很明显的现象FGSM的成功率普遍比自然图像上高不少。原因我认为是医学图像本身类别间的区分性更强比如正常和病变的组织纹理差异非常明显同时很多医学模型为了追求敏感度指标把分类边界设置得比较贴近正常样本这导致决策边界容易别被小的梯度扰动被突破。我在复现实验的时候用了一个公开的肺部X光数据集和ResNet架构epsilon设置成4/255FGSM的成功率能到70%以上PGD在迭代10步的情况下能到95%以上。这个数字在自然图像上是很难看到的。所以在医学图像领域有一个防御上的紧迫结论连基础攻击算法都有这么高的成功率说明很多未加防护的模型的安全裕度是不够的。这里面还有一个值得展开的点是扰动距离的感知问题。用L2范数来看医学图像上的PGD攻击使用的扰动总量远小于自然图像上的常用值。比如说在ImageNet上常用的epsilon是8/255但在胸部X光片上2/255甚至1/255的扰动就足以让分类器完全改变诊断结论而这样的扰动幅度在肉眼上是极难察觉的。我在实际对照看扰动可视化图的时候几乎看不出和原图的差别。这个发现对我后续设计防御实验的方向产生了很大影响。2.2 黑盒攻击与迁移性这才是临床上真正要防的白盒攻击虽然研究充分但临床场景中攻击者通常拿不到模型参数。所以黑盒攻击才是真正需要重视的威胁。黑盒攻击主要有两条技术路线基于迁移的攻击和基于查询的攻击。基于迁移的攻击思路是攻击者在本地先训练或者拿一个代理模型在代理模型上生成对抗样本然后把这个对抗样本直接丢给目标黑盒模型。由于不同模型在相似数据上学到的决策边界有一定程度的相似性对抗样本具有一定迁移性。调研中大量论文的工作重心其实都放在如何提高对抗样本的迁移性上常见的技巧包括集成模型攻击同时攻击多个代理模型、输入多样性在迭代时对图像做随机缩放变换、动量迭代累积梯度方向等。让我比较意外的是在医学图像上对抗样本的跨模型迁移性表现比同架构自然图像模型的迁移性更强。这可能是因为医学图像类别之间的语义鸿沟更大、纹理模式更加结构化使得不同模型学到的特征表示高度重合。我曾经用某个影像分割模型生成扰动迁移到另一个结构完全不同的模型上攻击成功率依然保持在60%以上。这个数字在自然图像分类任务通常很难达到。基于查询的攻击则是不断向目标模型发送输入根据输出的置信度分数甚至只是标签来迭代优化扰动。这类攻击在医学图像上的论文相对少一些原因有两个一是医学图像推理接口往往有访问频率限制纯查询攻击需要的qyery量动辄成千上万实际操作很耗时二是医学诊断场景下置信度分数不会直接暴露给终端用户攻击者能获取的信息有限。但在有云服务的实际系统中这类攻击依然不可低估尤其是如果部署方没有做好访问频率限制攻击者可以用大量低价查询逐步逼近有效的对抗扰动。2.3 分割与检测任务上的攻击目标更精细防御也更被动分类任务的攻击只是改变标签概率而分割任务的对抗攻击更让人不安因为攻击者可以精准地改变模型输出的像素级掩膜——让病灶区域在输出掩膜中消失或者在正常组织上凭空出现一块病变区域。检测任务的目标则是让某个目标框消失、偏移或者产生一个假目标框。这些攻击的难度比分类攻击高不少因为分割目标和检测目标本质上是一个结构化的输出攻击者需要在保持局部扰动的同时让整个输出结构发生改变。目前主流做法是针对特定的损失函数设计定制化攻击比如针对Dice损失的攻击、针对边界轮廓的攻击以及改变检测框回归参数的攻击。我调研时看到有些工作只需要让病灶边上很小的区域覆盖上对抗性扰动这些扰动甚至可以限制在背景区域内就能让整个分割掩膜从病灶内部被削掉一大块。这里面的底层逻辑值得展开说一下。分割和检测模型为了获得高IoU一般会利用空间上下文信息——分割模型依赖目标区域周围组织的纹理特征检测模型依赖候选区域的整体响应。攻击者并不需要对整个病灶做扰动只需要破坏模型上下文决策所依赖的关键支持点就能影响到最终的掩膜生成。有一种思路是定义一组关键点让这些关键点的局部扰动传递到整个分割结果中效果非常显著。更麻烦的是在目标检测任务中很多医学检测模型是基于锚框或者DETR结构的攻击者可以通过调节分类置信度和回归偏移在极为平滑的扰动下让检测框在良性区域出现。这对临床AI辅助诊断来说是很致命的——它不仅直接影响医生的判断还可能带来额外的过度诊疗。2.4 物理世界攻击一个很多人调研时容易漏掉的方向物理世界攻击在自然图像领域已经有了一些经典工作比如打印出对抗贴纸贴在路牌上让自动驾驶误判。在医学领域的对应研究还比较少但实际威胁不容忽视。主要分成两大类。一类是医学图像采集过程的物理干扰。电子设备的电磁干扰、拍片时附加的金属物体、射线剂量变化、甚至是特定的造影剂浓度变化都可能被模型解读为病变信号。有研究表明通过在X光设备附近放置特制物体可以令模型产生特定类别的假阳性诊断。这种攻击不需要接触任何计算机系统理论上任何人都可能在医院环境下实施虽然目前临床实地测试还很少但危害模型可信度的能力是存在的。另一类是后处理环节的干扰。医学图像在采集后通常要经过重建、滤波、压缩等后处理流程如果攻击者能在这条链路的任意环节注入扰动比如通过恶意软件感染图像处理程序或者污染DICOM文件就可以污染进入模型的所有图像数据。这类攻击属于系统层面而非算法层面的威胁但它对防御的启发是算法鲁棒性和系统安全必须一起考虑单纯在模型侧做对抗训练是不够的。调研中我发现学术界对这条链路的关注还远远不够更多是在封闭数据集上做算法的攻防缺乏对端到端系统攻击面的完整建模。3. 防御方案对抗训练是主流但医学领域有特殊问题防御手段方面的调研内容量很大我按方法论的层次来整理从对抗训练说起然后依次讲预处理、检测方法、以及鲁棒训练的评估问题。医学图像领域最常用的防御手段依然是基于对抗训练的改进方法但医学场景的特殊性使得很多通用做法需要调整甚至在个别场景下根本不可行。3.1 对抗训练及其在医学图像上的收益与限制对抗训练的核心逻辑是在训练过程中不断生成对抗样本并纳入训练集让模型在最小化正常样本损失的同时也最小化对抗样本上的损失。这样可以让模型在决策边界附近变得更平滑从而提高对扰动的鲁棒性。最标准的框架就是Min-Max优化内层最大化求解能欺骗模型的对抗扰动外层最小化在对抗扰动下的训练损失。PGD对抗训练在自然图像上是公认最可靠的方法之一。但把它直接用到医学图像上有几个实际问题值得注意。第一是标注数据稀缺。医学图像的标注成本极高一个高质量的数据集样本可能只有几千张远远少于ImageNet体量。对抗训练本质上是需要大量数据做支撑的它需要在正常样本和对抗样本之间找到一个鲁棒的解数据少了这个解很容易过拟合到不自然的对抗扰动模式上反而降低了模型在正常图像上的性能。我在实验中发现当训练集只有不到一万张图时PGD对抗训练会让模型在正常测试集上的AUC下降3到5个百分点。这个代价在医疗场景是难以接受的。第二是鲁棒性和准确性的权衡问题。在医学任务里任何一个正常样本的误判都可能造成实际后果所以模型在干净样本上的性能是不能随便牺牲的。而对抗训练天然会带来准确率和鲁棒性之间的权衡。有相当多的工作在尝试缓解这个矛盾比如用动态权衡因子让模型在训练初期更关注干净样本在后期逐渐增加对抗样本的权重或者只对特定的关键区域做对抗训练而不是全图统一处理。我调研后倾向于认为在医学场景里目标不应该只是在标准对抗训练下保持不下降而是要明确界定一个“可接受性能损失区间”然后在这个区间内最大化鲁棒性。第三是对抗样本生成方式需要改变。医学图像是灰度图像而且有其自身的统计分布约束直接用自然图像上的epsilon扰动范围可能会产生在临床语义上不真实的对抗样本。比如在CT图像上如果扰动过大生成的样本在中可能有违物理成像规律这会让模型学习到一些偏离真实分布的特征。所以医学图像上的对抗训练要严格控制epsilon并且最好是按照HU值或者强度域的实际噪声范围来设定扰动上限而不是按像素值映射到0到1的归一化范围来设定。3.2 输入预处理与转换性价比最高的防御路线在很多实际项目里让医生或者医院系统接受对抗训练那种性能表现不太可靠。相比之下输入预处理类防御往往是工程上性价比较高的选择。这类防御的核心思路是在图像输入给模型之前对图像做某种变换或压缩让对抗扰动被“破坏”掉从而无法起作用。典型的做法包括图像压缩JPEG压缩可以部分去除高频噪声、随机滤波中值滤波、高斯滤波、图像缩放和随机裁剪、像素深度量化等。我得说一个实操结论在医学图像上JPEG压缩类防御的实际效果比在自然图像上的通常要好。原因可能是医学图像的病灶信息主要在中低频对抗扰动往往集中在高频成分中压缩本质上是在低通滤波可以削减掉高频扰动。我对肺部CT图像做过简单实验把模型输入图像的JPEG质量降到80PGD攻击成功率可以从95%降到40%左右而且正常样本的诊断准确率几乎不下降。这个结果在自然图像任务上很难达到同等效果。但预处理防御有一个天然软肋研究人员普遍认可这个说法如果攻击者知道防御管线通常也很容易知道因为部署逻辑可能反推出来就可以针对整个预处理流程做白盒攻击。也就是说预处理防御只能对抗黑盒攻击者不能对抗白盒攻击者。所以这类方法适合作为整体防线的一部分而不是唯一防线。另外一个值得关注的预处理路线是“医学先验注入”。利用医学图像的生理结构先验比如胸片中的肺野区域分割、CT中的骨骼和组织阈值范围可以在输入端把不属于这些先验区域的扰动直接过滤掉。这个做法的好处是带有医学领域知识的防护攻击者虽然可以对抗一般的预处理但很难在符合医学成像规律的前提下绕过这种先验过滤。这块研究还比较前沿但我觉得它很有潜力。3.3 对抗样本检测与拒识把决定权交给医生的方案防御的另一个方向不是让模型在对抗样本上做正确预测而是让模型识别出“我不确定这个输入是正常的”然后拒绝输出诊断结果把病例转给放射科医生做人工判断。这种方案在医学场景里其实是更符合临床伦理的因为模型对对抗样本输出一个“自信但错误”的诊断和输出一个“拒绝诊断”的标志后者的危害小得多。检测方法大体上有几类基于输入空间检测的比如统计图像的频率分布特征来判断是否异常、基于模型中间层特征的在最终分类之前加一个异常检测头用正常样本训练该头的分布当输入特征的马氏距离过远时拒绝、以及基于模型不确定性的利用MC Dropout或者深度集成的方法估计输入的不确定性。我调研后的体验是医学图像上的对抗样本检测成功率相当高尤其是基于中间层特征的方法。因为医学图像对抗扰动往往是用梯度信息生成的模型某个隐藏层的特征响应会出现明显的异常聚集。我在一个视网膜OCT数据集上测试过用中间层特征加上简单的马氏距离检测就能在较低误报率下把大部分PGD生成的对抗样本识别出来。但这里有个问题容易被忽略做检测本身也可能被攻击者针对。如果攻击者知道防御方部署了检测器那么他完全可以在攻击样本的生成过程中加入一个针对检测器的正则化项让对抗样本在攻击模型的同时也能骗过检测器。这样的联合优化会让检测方法大幅失效。所以检测方法更适合作为一道防线而不是唯一依赖。3.4 无模型方法与鲁棒评估防止空欢喜还有一种防御思路是“无模型方法”它不改变模型本身而是通过后处理或外部逻辑来提高整体系统的鲁棒性。比如在模型输出层加入一致性校验对输入做多个随机变换看模型输出是否稳定或者在集成层面使用多个不同架构的模型投票决策。我对集成防御是比较认可的因为集成多个差异化的模型后攻击者需要同时欺骗所有成员模型才能改变最终输出这在黑盒场景下的难度提升非常明显。不过这里我要特别提一个鲁棒评估的问题。很多论文声称自己的防御有效但评估方式不严谨导致结果“虚高”。常见的问题包括只测试了一种攻击方法而且没做针对防御的适应性攻击或者使用了防御性蒸馏这类已经被后续工作攻破的方法而不自知或者只报告了在白盒攻击下的表现忽略了迁移攻击。在医学图像领域这类问题尤其多因为缺乏一个统一的鲁棒性评估基准。正确的评估应该包含多种攻击方法至少包括FGSM、PGD、至少一种黑盒攻击、多种扰动预算、对防御管线的白盒攻击测试把整个预处理流程纳入端到端反向传播、以及干净样本上的性能指标对比。这些维度不全面得出的鲁棒性结论基本不可信把不可信的防御用到临床上比不做防御还要危险。4. 评估指标、数据集与复现经验调研过程中我发现很多人对评估指标的理解比较混乱。我这里把常用指标和一些踩坑经验汇总看一下这些内容在实际做实验或者读论文时价值比较大。4.1 评估指标的选型与维度精度类指标。分类任务常用准确率、F1、AUC分割任务常用Dice、IoU检测任务常用AP和Recall。这些指标在对抗场景下的计算方式和干净场景完全一样但要明确报告的值用的是攻击前还是攻击后。鲁棒性指标。最常用的是攻击成功率ASR从干净样本生成后能被成功翻转的比例以及在不同epsilon下的鲁棒准确率曲线。还有一个“鲁棒性与标准性能权衡”的指标用来衡量防御是否以牺牲正常性能为代价获得鲁棒性。我特别想提醒的一个点是在医学场景下只报告平均准确率是不行的因为医学数据集的类别极度不平衡比如大多数是正常样本少数是病变样本。攻击者往往针对那少数病变样本做定向攻击平均准确率会被大头正常样本掩盖。正确的做法是分层报告比如在病变子集上单独报告鲁棒准确率这个数值往往远低于全局平均。4.2 数据集与可复现性能跑的公开数据集不多调研时另一个让人头疼的问题是医学图像领域对抗攻防研究的可复现性整体偏差很多论文用私有数据公开代码也不全。我建议从公开数据集中找基础较好、标注质量高的来复现实验。常用的公开数据集包括胸部X光数据肺部疾病分类、视网膜OCT图像多类病变分类、皮肤镜图像皮肤病分类、脑部MRI肿瘤分割等。这些数据集的共同点是类别标签和病灶位置比较明确对抗扰动下的状态是可评估的。但复现时要注意原始图像的大小和预处理不一致的问题。很多医学图像是DICOM格式存储的包含的像素位深和窗宽窗位信息不同于普通PNG直接读取和处理容易出问题。我看到不少复现失败的案例原因都是在起始阶段没有正确处理图像标准化或者直接把自然图像用的标准化参数套到医学图像上导致数据分布变化后续实验结果完全无法和论文对齐。4.3 复现实验中的具体踩坑记录我在复现过程遇到过几个很经典的问题这里整理成速查表方便后来者。表格常见复现问题对照常见问题具体表现处理建议图像标准化不一致同一张图不同预处理管线给出不同像素范围固定从原始医学格式读取显式设置窗位窗宽后再归一化标签泄露问题分割模型输入裁剪区域时标签裁剪与图像裁剪不一致统一随机种子使用同一变换序列迁移攻击效果不稳定代理模型和目标模型结构差异大时迁移成功率方差很大使用集成代理模型并统一预处理流程PGD迭代锚点偏移多步迭代后扰动累积超出设定epsilon范围每次迭代后用Clip操作约束总扰动范数不确定性问题深度集成和MC Dropout对某些输入确定的置信度异常先做置信度校准再设定拒识阈值医疗数据类别不均衡攻击平均值被大比例正常样本掩盖分层计算攻击成功率和鲁棒准确率还有一个小坑特别想提一下。做对抗攻击时默认会把输入像素归一化到0到1之间来设定epsilon扰动预算。但医学图像如果是直接从原始DICOM读取像素值域可能非常大比如CT有上千HU的跨度直接归一化后同一个绝对扰动在实际空间里可能对应着不同的物理意义。如果论文里报告的攻击参数不是用物理域比如HU值的扰动范围而是用归一化域那么在跨数据集复现时数值会很不稳定。我在实验中更推荐以物理域的标尺来推算扰动上限比如CT允许扰动20到40HU左右然后再换算到归一化域的epsilon。5. 调研后的几点核心思考与建议前面的内容都是对现有研究的一个梳理。这一部分我想换成更“个人化”的口吻把调研结束后的一些判断和实操建议整理出来给你的方向选择或者项目决策做个参考。5.1 哪些研究方向更有价值从发论文和实际落地的角度我觉得有几个细分方向目前更有价值第一是医学分割任务的鲁棒性研究。现在多数攻防工作还集中在分类任务上分割模型的攻击与防御研究相对薄弱但分割在医学AI中的应用范围更广。你如果做分割任务的迁移攻击或者预处理防御很容易做出有价值的工作。第二是跨模态的攻击迁移研究。医学图像模态多但每种模态的数据量都很小同一个模型往往需要在多种模态数据上训练。研究攻击如何在CT、MRI、X光之间迁移既有学术价值也有临床指导意义。第三是结合大模型的医学影像安全。现在多模态大模型在医学图像理解上越来越火但大模型的安全问题和传统模型很不一样它在对抗扰动下会产生更复杂的幻觉和错误。这块目前研究很少是个明显空白。5.2 防御落地的建议顺序如果你要为一个实际的医学AI系统做防御方案我给出的建议优先级大致如下先将对抗样本检测模块部署在输入前端。成本低对系统性能影响最小能够过滤掉相当比例的自动攻击流量同时不改变模型本身的诊断能力。然后针对模型做轻量对抗微调但一定要严格控制epsilon范围并在验证集上监控干净样本的性能损失以不超3%为红线。之后再用集成策略比如2到3个不同架构的模型做加权投票可以在不大幅增加推理成本的情况下显著提升鲁棒性。最后才是考虑在系统层面做异常监测比如记录推理时的请求频率、检查输入图像是否在采集后被异常篡改。这套顺序的核心思想是从对系统影响最小、实现难度最低的环节开始逐步加固避免一上来就改动模型核心能力带来不可控的连锁风险。5.3 避坑清单读完文献后最容易犯的几个错在调研结束的时候我觉得有几句提醒很有必要写出来。第一是不要轻信论文中宣称的鲁棒性数据。很多论文不报告适应性攻击的结果或者攻击方法只选了自己防御最擅长的那种。我在复现中见过一个声称能提供90%以上鲁棒精度的防御方法在补做适应性攻击后鲁棒精度掉到20%以下。所以不管读论文还是自己做实验都要把“是否做了适应性攻击评估”作为一个重要的质量标准。第二是防御方法的评价必须在完整的管线中做。有些防御方法在单纯的端到端模型上看起来效果不错但一旦前面加了标准医学图像预处理比如归一化、裁剪、重采样效果就会大打折扣因为攻击的扰动也会被这些预处理过程放大或者变形。所以在实际评估的时候一定要把防御放在完整的推理管线里测而不是单独测模块。第三是临床落地时要算鲁棒性和性能的总账。一个鲁棒性指标很好看但把正常诊断准确率拉低了3到5个百分点的模型在临床看来是没有落地价值的。反过来一个拒绝了很多对抗样本的检测器如果误报率偏高反而会导致大量正常病例被标记为需人工复核加重医生的负担。这两个方向的平衡才是医疗AI安全研究的最终着眼点。6. 写在最后我自己的体会这次调研持续了差不多三周从最基础的攻击算法开始一路看到最新的分割攻击、物理攻击和多模态攻击再到各类防御与评估框架。最大的体会是医学图像对抗安全不是一个纯粹的算法问题而是一个同时涉及临床、系统、数据和伦理的交叉领域。算法层面好的攻击和防御必须放在真实的临床工作流里去验证否则很容易变成自说自话。另外一个体会是这个领域的研究热度正在快速上升但整体成熟度还落后自然图像领域不少。这意味着两件事一是你现在做这个方向有足够的空间做出真正重要的增量工作二是你要保持谨慎不能把自然图像领域已经被证伪的防御方案拿过来当做创新点一定要把文献读深、评估做全。至少我这次调研之后在评估自己做的任何医学图像模型时都会默认加一道对抗鲁棒性检查这已经成了习惯。对于正在读这篇文章的你如果手头有医学图像相关的模型或者打算进入这个方向我建议从一个小而具体的任务开始比如只针对一种攻击方法、一个公开数据集、一个明确评估指标先把完整攻防闭环跑通。医学图像对抗攻击和防御这个方向做到后面一定会越来越复杂但先把地基打好后面整个研究就有了稳固的支撑。
