1. 为什么DETR值得你花时间搞懂如果你最近在目标检测这个方向里翻论文大概率会反复撞见一个名字DETR全称DEtection TRanformer。我第一次看到这个标题的时候第一反应是又一个把Transformer往检测任务上套的工作毕竟那几年Transformer在视觉领域几乎是万能膏药什么都往上贴。但真正把论文读完、把代码跑通、又拿自己的数据集训了一轮之后我才意识到这东西的价值不在于用了Transformer而在于它把目标检测这套流程从根上重新设计了一遍。传统目标检测你肯定不陌生不管是两阶段的Faster R-CNN系列还是单阶段的YOLO、RetinaNet系列背后都站着一个共同的基石anchor再加上一个叫NMS非极大值抑制的后处理。这套组合拳统治了检测领域很多年效果好、工程成熟但它有两个绕不开的痛点。第一是anchor的设计极其依赖经验和数据集框的尺寸、比例、数量换一个数据集就得重新调调不好召回率直接掉。第二是NMS这个后处理它本质上是个手工规则阈值设多少很讲究而且它不可微意味着你没法把它塞进端到端的训练里检测流程被硬生生切成了网络预测和后处理筛选两段。DETR干的事情就是把这两样东西一起扔掉。它把目标检测直接建模成一个集合预测问题输入一张图输出一个固定长度的预测集合每个元素要么是一个目标类别加框要么是没有目标这个特殊类别。整个流程端到端没有anchor没有NMS一张图进去结果直接出来。这个思路在当年是相当激进的也是它最值得搞懂的地方——因为它代表了一种用更简洁的建模换更复杂的训练的范式转变。这篇文章我打算按我自己学习和踩坑的顺序来写从整体设计思路讲到核心细节再到实操复现和问题排查。适合谁看如果你已经做过传统检测、想理解DETR到底新在哪或者你正准备在自己的数据集上跑DETR但被训练慢、收敛难劝退那这篇应该能帮你少走点弯路。我会尽量把为什么这么设计讲透而不是只告诉你这么写就对了。2. DETR整体设计与思路拆解2.1 把检测变成集合预测到底意味着什么先说清楚集合预测这个词。传统检测的输出是什么是一堆候选框每个框带一个置信度框和框之间大量重叠最后靠NMS去重。也就是说网络输出的其实是一个冗余的、无序的、需要后处理清理的集合。而DETR要的输出是一个干净的、无序的、大小固定的集合。这里的关键词是无序。集合是没有顺序的{A, B}和{B, A}是同一个集合。但神经网络的输出天然是有顺序的第1个输出、第2个输出……位置是固定的。这就带来一个核心问题训练的时候我怎么知道网络输出的第3个框应该对应图里的哪个真实目标如果对应错了损失算出来就是错的网络学到的就是错的。DETR的解法是二分图匹配bipartite matching。它把网络输出的N个预测和图中的M个真实目标N通常远大于M比如N100M3做一次最优匹配让匹配的总代价最小。匹配完之后每个预测要么被分配到一个真实目标要么被分配成无目标。然后只对被匹配上的预测算框回归损失和分类损失对无目标的预测算一个背景分类损失。这样网络输出的顺序就不再重要了因为匹配是每次动态算的谁对应谁由代价决定而不是由位置决定。这个设计的美妙之处在于它把去重这件事从后处理挪到了训练目标里。因为匹配是一对一的一个真实目标只会被分配给一个预测所以理论上不会出现两个预测同时盯上同一个目标的情况NMS自然就不需要了。我第一次理解到这一点的时候感觉像是被人从anchor加NMS的思维定式里拽了出来。2.2 为什么是Transformer而不是别的结构搞懂了集合预测下一个问题就是用什么网络来产生这N个预测DETR选的是Transformer的编码器-解码器结构这个选择不是随便挑的。先说编码器。输入图像先过一个CNN backbone论文里用的是ResNet得到一张降采样的特征图比如H/32 × W/32。然后把这个特征图拉平成一个序列加上位置编码送进Transformer编码器。编码器的作用是让每个位置的特征都能看到全图的信息建立全局的上下文关联。这一点对检测很重要因为一个目标是什么往往需要结合它周围甚至整张图的语境来判断——比如一个孤立的圆形你很难说它是球还是盘子但如果它旁边有张桌子判断就清晰多了。CNN的感受野是逐层扩大的要看到全图需要很深的网络而自注意力机制一层就能建立全局关联这是它的天然优势。再说解码器这是DETR真正的核心。解码器接收两组输入一组是编码器的输出作为key和value另一组是N个可学习的object queries作为query。这N个query就是那N个预测的种子每个query经过解码器后会输出一个对应的预测结果。你可以把这N个query想象成N个探测器每个探测器专门负责在图中找一类东西但具体找什么、在哪找是训练过程中自己学出来的不是人指定的。这里有个我当初困惑了很久的点object queries到底是什么它其实就是一组可学习的向量初始是随机的训练中逐渐分化。有的query可能专门负责找大目标有的负责找小目标有的负责找左边的东西有的负责找右边的东西。论文里做过可视化把每个query的注意力图打出来能看到它们确实形成了某种空间和尺度上的分工。但要注意这种分工是涌现出来的不是设计出来的所以不同数据集、不同随机种子训出来的分工可能不一样。2.3 集合预测损失匹配代价怎么算前面说要做二分图匹配那匹配的代价怎么定义DETR用的是匈牙利算法Hungarian algorithm来求最优匹配代价函数是分类代价和框代价的加权和。具体来说对于第i个预测和第j个真实目标代价定义为分类部分预测的类别概率中对应真实类别的那个概率的负值也就是概率越高代价越低框部分预测框和真实框之间的L1距离加上GIoU广义交并比的负值为什么框代价要同时用L1和GIoU这是有讲究的。L1距离对框的大小敏感大框的绝对误差天然比小框大但它对框的尺度不敏感两个框形状差很多但中心接近时L1可能不大。GIoU则是一个尺度不变的度量它衡量的是两个框的重叠程度能更好地反映框得像不像。两者结合既有绝对位置的约束又有形状重叠的约束实测下来比单用其中一个收敛更稳。匹配完之后算损失损失函数和代价函数结构类似也是分类的交叉熵加上框的L1和GIoU损失。这里有个细节分类损失里无目标这个类别也是有损失的而且它的权重需要仔细调。如果背景类权重太低网络会倾向于到处预测目标产生大量误检如果太高又会漏检。论文里用的是交叉熵背景类和前景类一视同仁但实际操作中很多人会调整这个权重来平衡。2.4 和传统检测范式的本质差异把上面这些串起来DETR和传统检测的差异可以总结成一张表维度传统检测如Faster R-CNN、YOLODETR候选框生成依赖anchor需手工设计尺寸比例无anchor用可学习的object queries去重方式NMS后处理不可微二分图匹配训练目标内建去重流程两段或多段非完全端到端单段完全端到端全局建模靠CNN感受野逐层扩大自注意力一层建立全局关联训练收敛相对快几十epoch慢通常需要300-500epoch小目标靠FPN多尺度成熟原版较弱需改进这张表里最值得玩味的是最后两行。DETR的收敛慢和小目标弱是它最被诟病的两个点也是后续一系列改进工作比如Deformable DETR、DAB-DETR、DN-DETR等的出发点。但反过来说它换来的简洁性和端到端特性是传统方法给不了的。理解了这张表你就理解了DETR在整个检测发展脉络里的位置。3. 核心细节解析与实操要点3.1 Backbone和位置编码容易被忽略的两个关键很多人读DETR论文时注意力全在Transformer和匹配上反而忽略了backbone和位置编码这两个配角但它们对最终效果的影响一点都不小。先说backbone。原版DETR用的是ResNet-50或ResNet-101取的是最后一个stage的特征图C5stride是32。这意味着输入一张800×800的图特征图只有25×25分辨率相当低。低分辨率对大目标没问题但小目标在这么低的特征图上可能就剩几个像素信息损失严重。这就是DETR小目标弱的直接原因之一。后续的改进工作很多都在backbone上做文章比如用多尺度特征、用更高分辨率的特征图、或者换更强的backbone。实操中我的建议是如果你的数据集里小目标多别直接用原版配置要么换Deformable DETR这类多尺度版本要么自己在backbone上做文章。我试过把C4stride 16的特征也接进来做多尺度虽然改动不大但小目标的召回率有明显提升。再说位置编码。Transformer本身是置换不变的也就是说你把输入序列打乱输出也跟着打乱它不知道哪个特征在图的哪个位置。所以必须显式地注入位置信息这就是位置编码的作用。DETR用的是正弦位置编码固定不学习加在编码器的输入上。这里有个坑位置编码加在哪、怎么加对结果影响很大。原版是把位置编码加在编码器输入的序列上解码器的query本身是可学习的已经隐含了位置信息所以解码器那边没额外加。但后来的工作发现在解码器的cross-attention里也注入位置信息比如把位置编码加到key上能提升效果。这个细节在复现时值得注意如果你发现模型定位不准可以检查一下位置编码的注入方式。3.2 Object queries的数量与初始化Object queries的数量N是个超参数原版用的是100。这个数字怎么定它必须大于等于你数据集中单张图里最多可能出现的目标数。如果你的图里最多有50个目标那N100够用但如果你的图里可能有200个目标N100就不够了会漏检。但N也不是越大越好。N越大计算量越大解码器的复杂度是O(N×特征图大小)而且大部分query会学成背景探测器浪费容量。我的经验是N取单图最大目标数的1.5到2倍比较合适留点余量。如果你的数据集目标数波动很大可以统计一下分布取95分位数再乘个系数。初始化方面原版是随机初始化让它们自己学。但后来有工作比如DAB-DETR发现把query初始化成某种有意义的锚点比如4D的框坐标收敛会快很多。如果你在复现原版时觉得收敛太慢可以试试这种初始化方式算是站在后续工作的肩膀上。3.3 训练策略为什么DETR这么难训DETR最难的地方就是训练。原版论文里在COCO上要训300个epoch才能达到理想效果而YOLO这类方法几十个epoch就收敛了。为什么这么慢根本原因在于DETR的监督信号是稀疏的。一张图里可能只有几个目标N100个预测里只有几个被匹配上、有框回归损失其余90多个只贡献背景分类损失。这意味着每个query在早期几乎收不到有效的定位梯度它得靠大量的迭代慢慢摸索出自己该负责什么。相比之下anchor-based方法每个位置都有密集的监督学起来快得多。针对这个问题实操中有几个缓解手段。一是学习率warmup前几个epoch用很小的学习率慢慢启动避免早期梯度太乱把query带偏。二是梯度裁剪Transformer的训练本来就不太稳定裁剪能防止梯度爆炸。三是更长的训练周期这个没办法DETR就是吃数据吃时间想快就得用改进版本。还有一个容易被忽略的点数据增强。原版用了比较强的增强包括随机裁剪、缩放、翻转等。增强对小目标检测尤其重要因为它能人为地制造更多小目标样本。我在自己的数据集上试过关掉增强后小目标召回率掉得很明显。3.4 损失权重分类和回归的平衡DETR的总损失是分类损失、L1框损失、GIoU损失的加权和原版权重是分类1、L1为5、GIoU为2。这三个权重不是随便定的背后有考量。L1权重给到5是因为框回归的L1损失数值上通常比分类损失小需要放大才能和分类损失量级相当。GIoU权重2是因为它本身是个0到1之间的比例量级和分类损失接近不需要放太大。如果你发现训练时分类loss降得很快但框一直不准可能是L1权重不够反过来如果框准了但类别老错可能是分类权重需要调。我的建议是先用原版权重跑观察三个loss的下降曲线。如果某一路明显不收敛或者震荡再针对性调整。别一上来就大改权重容易把问题搞复杂。4. 实操过程与核心环节实现4.1 环境准备与依赖安装假设你已经有一套能跑深度学习的环境PyTorch、CUDA这些基础的我就不啰嗦了。DETR的官方实现依赖几个关键库我列一下pip install torch torchvision pip install scipy # 匈牙利算法实现 pip install pycocotools # COCO数据集评估 pip install timm # 如果用一些预训练backbone这里重点说scipy。DETR的二分图匹配用的是scipy里的linear_sum_assignment函数它实现的就是匈牙利算法。这个函数要求代价矩阵是方阵或者可以补成方阵而DETR里预测数N100通常大于真实目标数M比如3所以需要把代价矩阵补零到N×N再求解。这个补零的操作在代码里很关键补错了匹配就全乱了。注意不同版本的scipy里linear_sum_assignment的行为可能有细微差异建议锁定一个稳定版本别频繁升级。4.2 数据准备与格式转换DETR官方用的是COCO格式的标注如果你自己的数据是VOC格式或者其他格式需要先转成COCO。COCO标注的核心是一个JSON文件里面包含images、annotations、categories三个主要字段。images记录每张图的文件名和尺寸annotations记录每个框的坐标x, y, width, height注意是左上角坐标加宽高不是xyxy、类别id、所属图片idcategories记录类别id和名称的映射。转换的时候有几个坑。第一COCO的类别id是从1开始的0通常留给背景别搞错。第二框的坐标是绝对像素值不是归一化的如果你的原始标注是归一化的记得乘回图像尺寸。第三如果一张图没有目标纯背景图也要在images里保留但annotations里没有对应记录DETR训练时会把这张图的所有预测都当成背景这也是有用的负样本。我建议转换完之后写个小脚本统计一下总图片数、总框数、每类框数、单图最大框数。这几个数字直接决定了你的object queries数量N该设多少以及类别是否平衡。4.3 模型搭建的核心代码结构DETR的模型可以拆成四块backbone、位置编码、Transformer编码器-解码器、预测头。我用伪代码把结构串一下方便你理解数据流class DETR(nn.Module): def __init__(self, backbone, transformer, num_classes, num_queries): super().__init__() self.backbone backbone # 输出C5特征stride 32 self.transformer transformer self.num_queries num_queries # 把backbone特征维度投影到transformer的d_model self.input_proj nn.Conv2d(backbone.num_channels, hidden_dim, 1) # 可学习的object queries self.query_embed nn.Embedding(num_queries, hidden_dim) # 分类头预测类别含背景类 self.class_embed nn.Linear(hidden_dim, num_classes 1) # 框回归头预测归一化的cxcywh self.bbox_embed MLP(hidden_dim, hidden_dim, 4, 3) def forward(self, x): # 1. backbone提特征 features self.backbone(x) # 2. 投影 拉平 加位置编码 src self.input_proj(features) pos self.position_encoding(src) src src.flatten(2).permute(2, 0, 1) # (HW, B, C) # 3. transformer编码器-解码器 query_embed self.query_embed.weight.unsqueeze(1).repeat(1, x.size(0), 1) hs self.transformer(src, pos, query_embed) # 4. 预测头 outputs_class self.class_embed(hs) # (num_queries, B, num_classes1) outputs_coord self.bbox_embed(hs).sigmoid() # 归一化到0-1 return outputs_class, outputs_coord几个关键点解释一下。input_proj这个1×1卷积不能省因为backbone的输出通道数比如ResNet-50是2048和transformer的d_model原版是256不一样必须投影对齐。bbox_embed输出的是归一化的cxcywh中心点加宽高都除以图像尺寸用sigmoid压到0-1之间这样和真实框的表示方式一致算损失时不用再做尺度变换。4.4 训练循环与匹配实现训练循环里最核心的是匹配那一步。我把它单独拎出来讲因为这是DETR区别于所有传统检测的地方def compute_loss(outputs_class, outputs_coord, targets): # outputs_class: (B, N, C1), outputs_coord: (B, N, 4) # targets: list of dict, 每个dict有labels和boxes losses {} for i in range(batch_size): # 取出第i张图的预测和真实 pred_logits outputs_class[i] # (N, C1) pred_boxes outputs_coord[i] # (N, 4) tgt_labels targets[i][labels] # (M,) tgt_boxes targets[i][boxes] # (M, 4) # 1. 算代价矩阵 (N, M) cost_class -pred_logits[:, tgt_labels] # 取真实类别的概率的负值 cost_bbox torch.cdist(pred_boxes, tgt_boxes, p1) # L1距离 cost_giou -generalized_box_iou(box_cxcywh_to_xyxy(pred_boxes), box_cxcywh_to_xyxy(tgt_boxes)) cost cost_class 5 * cost_bbox 2 * cost_giou # 2. 匈牙利匹配得到每个真实目标对应的预测索引 # 注意cost是(N, M)需要补成方阵 cost_padded torch.zeros(N, N) cost_padded[:, :M] cost row_ind, col_ind linear_sum_assignment(cost_padded.cpu()) # 只保留col_ind M的匹配其余是补的 matched_pred_idx row_ind[col_ind M] matched_tgt_idx col_ind[col_ind M] # 3. 算损失 # 分类损失匹配上的用真实类别没匹配上的用背景类 target_classes torch.full((N,), num_classes, dtypetorch.long) # 背景类 target_classes[matched_pred_idx] tgt_labels[matched_tgt_idx] loss_ce F.cross_entropy(pred_logits, target_classes) # 框损失只对匹配上的算 if len(matched_pred_idx) 0: loss_bbox F.l1_loss(pred_boxes[matched_pred_idx], tgt_boxes[matched_tgt_idx], reductionsum) loss_giou 1 - torch.diag(generalized_box_iou( box_cxcywh_to_xyxy(pred_boxes[matched_pred_idx]), box_cxcywh_to_xyxy(tgt_boxes[matched_tgt_idx]))) loss_bbox loss_bbox / num_boxes loss_giou loss_giou.sum() / num_boxes else: loss_bbox torch.tensor(0.0) loss_giou torch.tensor(0.0) losses[ce] loss_ce losses[bbox] loss_bbox losses[giou] loss_giou return losses这段代码里有几个细节值得强调。第一代价矩阵补零到N×N是因为linear_sum_assignment要求方阵补零之后那些补出来的列代价是0会被优先匹配所以最后要过滤掉col_ind M的匹配。第二分类损失里没匹配上的预测目标类别是背景类索引为num_classes这个背景类的损失是每个预测都算的占了总分类损失的大头。第三框损失只对匹配上的算而且除以了num_boxes整个batch的真实框总数做归一化避免batch大小影响损失量级。4.5 推理与后处理推理阶段比训练简单得多因为没有匹配了。一张图进去得到N个预测每个预测有类别概率和框坐标。你只需要对每个预测取类别概率最大的那个类排除背景类如果最大概率对应的不是背景类且概率超过某个阈值就保留这个预测把归一化的cxcywh转回绝对坐标的xyxy注意这里没有NMS。因为训练时的匹配已经保证了去重推理时直接输出就行。但实际用的时候你可能还是会加一个很轻的阈值过滤把置信度太低的预测扔掉减少输出数量。这个阈值不是NMS阈值只是置信度阈值性质完全不同。提示如果你发现推理结果里有大量重叠框别急着加NMS先检查训练是否充分。DETR训练不足时query的分工没学好确实会出现重复预测。训够了自然就干净了。5. 常见问题与排查技巧实录5.1 训练不收敛或收敛极慢这是DETR最常见的问题没有之一。表现是loss下降很慢或者震荡不降。排查思路按优先级来第一检查学习率。DETR对学习率很敏感原版用的是1e-4backbone和1e-4transformer配合warmup。如果你用了更大的学习率很可能直接发散。建议先用原版配置跑通再考虑调。第二检查warmup。原版warmup了大概10个epoch让学习率从很小的值慢慢升上去。跳过warmup直接上大学习率早期梯度会把query带偏后面很难救回来。第三检查数据。如果标注格式错了比如框坐标是xyxy但当成xywh用了匹配会一直匹配错loss自然降不下去。这种问题最隐蔽建议先用少量数据过拟合测试拿10张图关掉增强训几百个epoch看能不能把loss压到接近0。如果压不下去一定是代码或数据有问题。第四检查object queries数量。如果N小于单图最大目标数必然有目标匹配不上loss降不下去。统计一下你的数据确保N够用。5.2 小目标检测效果差前面说过这是原版DETR的结构性缺陷根源在stride 32的低分辨率特征图。缓解手段有几个用多尺度特征把C3、C4、C5都接进来类似FPN的思路。Deformable DETR就是这么做的效果提升明显。提高输入分辨率。原版是短边800你可以提到1000甚至1200小目标在特征图上占的像素就多了。代价是计算量增加。用更强的backbone比如带FPN的ResNet或者Swin Transformer。数据增强里加强小目标的样本比如mosaic、copy-paste这类。我自己的经验是如果小目标占比超过30%原版DETR基本不够用直接上Deformable DETR更省事。5.3 显存不够用DETR的显存占用主要来自Transformer的注意力矩阵。编码器的注意力是O((HW)²)H和W是特征图尺寸。输入800×800特征图25×25625注意力矩阵是625×625还好。但如果你提高分辨率到1200特征图变成38×381444注意力矩阵就是1444×1444显存占用翻好几倍。缓解手段减小batch size最直接、用梯度累积模拟大batch、用混合精度训练amp、或者用Deformable DETR这种稀疏注意力复杂度从O(N²)降到O(N)。5.4 常见问题速查表问题现象可能原因排查/解决loss不降学习率过大、缺warmup用原版配置加warmuploss震荡梯度爆炸加梯度裁剪clip_max_norm0.1大量重复框训练不足、query分工没学好延长训练检查匹配代码小目标漏检特征图分辨率低多尺度特征、提高输入分辨率显存OOM注意力矩阵太大减batch、混合精度、稀疏注意力类别预测全错类别id映射错、背景类权重问题检查数据转换调背景类权重框位置偏移坐标格式搞混xyxy vs xywh统一用cxcywh归一化推理速度慢N太大、分辨率太高减N、降分辨率、用稀疏版本5.5 几个我踩过的坑第一个坑是位置编码的维度。原版用的是正弦编码维度必须和d_model一致而且编码的生成方式频率、周期要和序列长度匹配。我一开始自己写了个简化版结果定位一直不准换成原版实现就好了。这种基础组件别自己造轮子用官方或成熟库的。第二个坑是匹配时的代价矩阵补零。前面提过补零之后要过滤掉补出来的匹配。我有一次忘了过滤把补零的匹配也算进损失里结果模型学出来一堆莫名其妙的框。这个bug很隐蔽因为loss看起来在降但效果就是不对。第三个坑是评估指标。DETR输出的是归一化坐标评估时要转回绝对坐标而且COCO的AP计算对框的格式有要求。我一开始评估出来AP特别低查了半天发现是坐标转换时忘了乘图像尺寸。这种低级错误在调试时很浪费时间建议写个可视化脚本把预测框画到图上肉眼看一眼比盯着数字强。第四个坑是背景类权重。原版背景类和前景类权重一样但在类别极不平衡的数据集上比如某些类只有几十个样本背景类会主导损失导致前景类学不好。我的做法是给前景类加权或者用focal loss替代交叉熵。这个改动不大但在不平衡数据上效果明显。6. 从DETR到后续改进值得延伸的方向搞懂原版DETR之后你会发现后续一大票工作都是在补它的短板理解这些改进能帮你更清楚地看到DETR的设计边界在哪。最直接的是Deformable DETR它把编码器的全局注意力换成了可变形注意力每个query只关注参考点周围的少量采样点复杂度从O(N²)降到O(N)收敛速度大幅提升小目标也好了很多。这是目前工程上最常用的DETR变体如果你要落地我建议直接从它入手而不是死磕原版。然后是DAB-DETR和DN-DETR。DAB-DETR把object queries显式地建模成4D的框坐标x, y, w, h让query有了明确的物理意义收敛更快。DN-DETR引入了去噪训练给解码器喂一些加了噪声的真实框让网络学会从噪声中恢复真实框进一步加速收敛。这两个思路都很巧妙值得一读。还有DINO它把前面这些改进整合到一起加上对比去噪和混合query选择在COCO上刷到了很高的AP算是DETR系列的一个集大成者。如果你想看DETR这条线最终能走到哪DINO是个好的终点。我个人在实际操作中的体会是原版DETR更适合用来理解思想真正落地时用Deformable DETR或DINO更实际。但理解原版的价值在于你知道每个改进是在解决什么问题而不是盲目跟风换模型。比如你知道原版小目标弱是因为stride 32那看到Deformable DETR用多尺度特征时你就明白它为什么有效而不是只知道它效果好。最后再分享一个小技巧如果你要在自己的数据集上快速验证DETR是否合适别一上来就训300个epoch。先用小分辨率、小N、少量数据跑个几十epoch看看loss能不能正常下降、预测框大致对不对。如果这个快速验证都过不了说明数据或代码有问题先解决这个再谈调优。这个习惯帮我省了大量时间毕竟训一次完整DETR动辄好几天方向错了代价太大。
