简介本资源面向计算机视觉方向的研究人员与开发者提供一套基于OpenCLIP知识蒸馏实现零标签图像分类的完整项目源码帮助在缺乏标注数据的场景下训练轻量级分类模型。压缩包共16个文件约1.42MB以9个Python脚本为核心覆盖OpenCLIP图像与文本嵌入计算、模型蒸馏、ONNX导出、图像搜索与预测等环节另含2个Shell脚本、Dockerfile及少量示例图片与说明文档便于快速复现实验。项目围绕预训练、蒸馏与微调三阶段展开涉及蒸馏温度选择、知识保留与模型容量平衡等优化策略读者可据此掌握跨模态特征迁移的关键思路并直接用于自有数据集的零标签分类任务。目前已有352人学习下载适合具备一定深度学习基础、希望深入理解知识蒸馏与OpenCLIP应用的进阶学习者参考。1. 零标签图像分类当知识蒸馏遇上 OpenCLIP手里有一批图却一张标签都没有还要把它们分门别类——这是很多做视觉落地的团队真实会遇到的场景电商新品类冷启动、工业质检里没见过的缺陷、医疗影像里罕见病灶标注成本高到离谱甚至根本没人能标。零标签图像分类要解决的就是这件事不依赖任何人工标注把图像按语义自动归堆。而知识蒸馏-基于OpenCLIP知识蒸馏实现零标签图像分类算法本质上是把 OpenCLIP 这个在海量图文对上预训练过的「教师」模型当成一个会说话的语义字典用它给无标签图像生成伪标签再蒸馏到一个轻量「学生」模型里让部署端也能跑得动。这套思路适合两类人一类是想把 CLIP 系模型塞进边缘设备、又不想背大模型推理成本的工程师另一类是手里有大量无标注图、想快速验证分类可行性再决定要不要投入标注的算法同学。它不玄学核心就三件事教师怎么给信号、学生怎么接、蒸馏怎么不塌。2. 教师-学生框架OpenCLIP 凭什么能当零标签的「老师」2.1 零标签分类的底层逻辑从图文对齐到伪标签OpenCLIP 是在大规模图文对上训练的对比学习模型它的核心能力是把图像和文本映射到同一个嵌入空间让「一只猫的图片」和「a photo of a cat」这两句话的向量距离足够近。这个性质直接给了零标签分类一条路我不需要知道图里是什么我只需要准备一组候选类别名把每个类别名编码成文本向量再拿图像向量去和它们算相似度取最高的那个当伪标签。这就是所谓的 zero-shot 分类也是整套蒸馏框架的起点。但直接用 zero-shot 结果去训练学生模型有个问题OpenCLIP 的 zero-shot 精度受 prompt 影响极大同一张图用「a photo of a dog」和「a picture of a dog」可能给出不同答案而且它对细粒度类别比如不同型号的螺丝区分能力有限。所以工程上不会直接把 argmax 结果当硬标签而是用相似度分布做软标签或者用多模板 prompt 集成来稳定信号。这一步做得好不好直接决定后面学生模型的天花板。从选型角度看OpenCLIP 相比原版 CLIP 的优势在于它有多个开源权重档位ViT-B/32、ViT-B/16、ViT-L/14 等你可以根据教师推理预算挑。教师只在训练阶段跑一次或几次学生才是部署时真正跑的所以教师可以选大一点学生选小一点这个不对称正是知识蒸馏的价值所在。2.2 教师信号的生成多模板 prompt 与相似度软标签教师信号的质量是整套流程的命门。我一般会先用多模板 prompt 集成来生成文本嵌入而不是只用一个模板。常见做法是准备 5 到 10 个模板比如「a photo of a {}」「a blurry photo of a {}」「a photo of the {} in the scene」把每个类别的文本嵌入在这些模板下取平均再归一化。这样得到的类别原型更稳对单张图的噪声更不敏感。import open_clip import torch import torch.nn.functional as F # 加载教师模型选 ViT-B-16 兼顾精度和速度 model, _, preprocess open_clip.create_model_and_transforms( ViT-B-16, pretrainedlaion2b_s34b_b88k ) tokenizer open_clip.get_tokenizer(ViT-B-16) model.eval().cuda() # 多模板 prompt覆盖不同描述风格 templates [ a photo of a {}., a blurry photo of a {}., a photo of the {} in the scene., a close-up photo of a {}., a photo of a {} on a white background. ] def build_text_prototypes(class_names): 把类别名编码成稳定的文本原型返回 [C, D] 的归一化向量 all_embeds [] for cls in class_names: texts [t.format(cls) for t in templates] tokens tokenizer(texts).cuda() with torch.no_grad(): embeds model.encode_text(tokens) embeds F.normalize(embeds, dim-1) # 多模板取平均后再归一化降低单模板偏差 proto F.normalize(embeds.mean(dim0), dim-1) all_embeds.append(proto) return torch.stack(all_embeds) # [C, D] def teacher_soft_labels(images, text_protos, temperature0.01): 对一批图像生成软标签分布images 已预处理 with torch.no_grad(): img_embeds model.encode_image(images) img_embeds F.normalize(img_embeds, dim-1) # 余弦相似度乘温度系数温度越小分布越尖锐 logits img_embeds text_protos.t() / temperature return F.softmax(logits, dim-1)这段代码里有两个参数值得说清楚。temperature 控制软标签的尖锐程度设得太大会让所有类别概率接近均匀学生学不到判别性设得太小会让分布退化成 one-hot丢掉类间关系。我一般从 0.01 起步在验证集哪怕只有几十张有标签的图上微调。另一个是模板数量模板不是越多越好超过 10 个之后边际收益很低反而拖慢教师推理。文本原型只需要算一次可以缓存下来复用真正耗时的是图像编码。2.3 学生模型选型轻量骨干与蒸馏接口设计学生模型的选择要服务于部署目标。如果目标是移动端或边缘盒子常见做法是选 ResNet-18、MobileNetV3 或 EfficientNet-B0 这类骨干把最后的分类头换成和类别数一致的线性层。学生不需要文本编码器它只学图像到类别概率的映射所以蒸馏接口就是「学生的 logits」对「教师的软标签」。这里有个容易翻车的点学生和教师的输入分辨率最好保持一致或者学生至少不能低于教师太多。OpenCLIP 的预处理通常是 224×224如果你为了省算力把学生输入降到 112×112蒸馏时教师看到的细节学生看不到信号会对不齐精度掉得比预期多。我一般让学生输入保持 224靠减通道数而不是降分辨率来省算力。import torch.nn as nn from torchvision.models import mobilenet_v3_small class StudentModel(nn.Module): def __init__(self, num_classes): super().__init__() backbone mobilenet_v3_small(weightsIMAGENET1K_V1) # 去掉原分类头换成任务类别数 in_features backbone.classifier[3].in_features backbone.classifier[3] nn.Linear(in_features, num_classes) self.backbone backbone def forward(self, x): return self.backbone(x) # 返回 logits学生用 ImageNet 预训练权重初始化是个小技巧哪怕任务类别完全不同底层纹理和边缘特征也能加速收敛尤其在无标签场景下随机初始化很容易在早期就被错误的伪标签带偏。分类头换成任务类别数之后前几个 epoch 建议先冻结骨干只训头等伪标签信号稳定了再解冻微调。3. 蒸馏训练全流程从伪标签到可部署模型3.1 数据管线与无标签图像的组织方式无标签场景下数据组织方式和有监督完全不同。你没有 train/val 的标签划分但训练仍然需要一个能监控过程的信号。我的做法是从无标签池里随机抽一小部分比如 2% 到 5%人工快速标一下只作为验证集不参与训练。如果连这点标注都没有那就只能看训练损失和伪标签分布的熵但那属于黑匣子调参不推荐。数据管线本身用标准的 ImageFolder 或自定义 Dataset 都行关键是预处理要和教师对齐。OpenCLIP 的 preprocess 包含 resize、center crop、归一化学生训练时如果做数据增强随机裁剪、翻转、颜色抖动要注意增强后的图仍然能被教师正确识别否则伪标签会引入噪声。我一般对无标签图先做一次教师推理生成伪标签并缓存训练时再对学生输入做增强这样教师只跑一遍省时间。from torch.utils.data import Dataset, DataLoader from PIL import Image import os class UnlabeledImageDataset(Dataset): def __init__(self, img_dir, transform): self.paths [ os.path.join(img_dir, f) for f in os.listdir(img_dir) if f.lower().endswith((.jpg, .jpeg, .png)) ] self.transform transform def __len__(self): return len(self.paths) def __getitem__(self, idx): img Image.open(self.paths[idx]).convert(RGB) return self.transform(img), idx # 返回索引方便对齐缓存的伪标签返回索引这个设计是为了把缓存的软标签和图像对齐。如果数据集很大伪标签缓存可以存成 .npy 或 .pt 文件按索引读取避免每次训练都重新跑教师。注意图像格式要过滤干净混进损坏文件会让训练在某个 batch 突然报错这种问题在无标签池里特别常见因为没人清洗过。3.2 蒸馏损失设计KL 散度、温度系数与硬标签混合蒸馏损失的核心是让学生输出的分布去逼近教师的软标签分布标准做法是 KL 散度。但纯 KL 在无标签场景下有个风险教师的错误会被学生完整继承而且越训越自信。我的经验是加一个熵正则项惩罚学生输出过于尖锐的分布给它留一点「不确定」的余地反而能提升泛化。import torch.nn.functional as F def distillation_loss(student_logits, teacher_probs, T2.0, alpha0.9): student_logits: [B, C] 学生原始 logits teacher_probs: [B, C] 教师软标签已 softmax T: 蒸馏温度让学生分布更平滑地匹配教师 alpha: 软标签权重1-alpha 为熵正则权重 # 学生 log 概率按温度缩放 student_log_probs F.log_softmax(student_logits / T, dim-1) # KL 散度教师分布 * (log 教师 - log 学生) kl F.kl_div(student_log_probs, teacher_probs, reductionbatchmean) * (T * T) # 熵正则鼓励学生分布不要过度尖锐 student_probs F.softmax(student_logits, dim-1) entropy -(student_probs * torch.log(student_probs 1e-8)).sum(dim-1).mean() return alpha * kl - (1 - alpha) * entropy温度 T 设成 2 到 4 比较常见它让教师的软标签里的类间关系比如「哈士奇」和「阿拉斯加」相似度高能更充分地传递给学生。alpha 控制软标签和熵正则的平衡0.9 是个稳妥起点。如果发现学生把所有图都预测成同一类先把 alpha 降到 0.7 试试让熵正则拉一把。这个损失函数不依赖任何真实标签完全靠教师信号驱动。3.3 训练循环与伪标签迭代刷新一次性生成的伪标签质量有限工程上常用迭代刷新先训一轮学生用学生的高置信预测去修正伪标签再训下一轮。这个思路类似自训练但教师始终是锚点防止学生自己跑偏。刷新时只对教师置信度低于阈值的样本用学生预测替换高置信样本保持教师标签不动。def train_one_epoch(student, loader, optimizer, cached_teacher_probs, device): student.train() total_loss 0.0 for imgs, idxs in loader: imgs imgs.to(device) teacher_probs cached_teacher_probs[idxs].to(device) logits student(imgs) loss distillation_loss(logits, teacher_probs) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader) # 伪标签刷新教师置信度低于阈值的样本用学生预测替换 def refresh_pseudo_labels(student, loader, teacher_probs, threshold0.7, device): student.eval() updated teacher_probs.clone() with torch.no_grad(): for imgs, idxs in loader: imgs imgs.to(device) logits student(imgs) probs F.softmax(logits, dim-1).cpu() max_prob, _ probs.max(dim-1) # 只替换教师不确定的样本 low_conf max_prob threshold updated[idxs[low_conf]] probs[low_conf] return updated阈值 0.7 不是固定的类别多的时候可以降到 0.5类别少可以提到 0.8。刷新频率一般每 5 到 10 个 epoch 做一次太频繁会让训练不稳定。注意刷新用的学生预测也要经过温度缩放否则分布形状和教师软标签不一致KL 散度会算歪。4. 避坑与排查零标签蒸馏里最容易翻车的五件事4.1 伪标签全塌到一类现象训练几个 epoch 后学生对所有输入都输出同一个类别验证集准确率等于多数类占比。原因通常是教师软标签本身分布就偏或者温度设得太低导致软标签接近 one-hot学生只学到「全押一类」这个退化解。解决办法是先检查教师软标签的类别分布直方图如果某一类占比超过 60%说明 prompt 或类别名有问题再把温度从 0.01 提到 0.05 左右让分布平滑一些最后把熵正则权重从 0.1 提到 0.3强制学生保留不确定性。4.2 教师推理和训练预处理不一致现象离线缓存的伪标签看起来合理但学生训练时精度远低于直接用教师 zero-shot 的结果。原因多半是学生训练用的 transform 和教师生成伪标签时的 preprocess 不一致比如归一化均值方差不同、crop 比例不同导致学生看到的图和教师「看到」的图不是同一个分布。解决办法是把教师的 preprocess 固定下来学生训练时的验证 transform 必须和它完全一致训练增强可以额外加但不能替换基础预处理。4.3 类别名选得太随意现象某些语义相近的类别总是互相混淆学生在这几类上的精度明显低于其他类。原因是 OpenCLIP 的文本编码对类别名的措辞敏感「couch」和「sofa」可能被编码到不同区域而「persian cat」和「cat」的相似度又过高。解决办法是给每个类别准备同义词列表把同义词的文本嵌入平均后再归一化相当于给类别原型做一次平滑。这一步在细粒度任务上收益特别明显。4.4 学生骨干解冻太早现象训练初期损失震荡剧烈验证精度先升后降。原因是学生骨干随机初始化的分类头还没稳定就解冻全部参数错误的伪标签信号直接污染了预训练特征。解决办法是前 3 到 5 个 epoch 冻结骨干只训分类头等损失曲线平稳后再解冻并且解冻后把学习率降到原来的十分之一。这个血泪经验在多个项目里都验证过急不得。4.5 验证集泄露进训练现象验证精度高得离谱但换一批新图测试就崩。原因是从无标签池里抽验证集时没做去重同一张图或高度相似的图同时出现在训练和验证里。解决办法是抽验证集时用图像哈希或嵌入相似度做去重确保验证图和训练图没有近邻重叠。无标签场景下没有标签帮你发现泄露只能靠这种笨办法。5. 进阶技巧用嵌入聚类给伪标签做二次校准蒸馏跑通之后想再往上提精度我一般会在伪标签生成阶段加一步嵌入聚类校准。思路是把教师编码的所有图像嵌入做一次 K-Means 或谱聚类聚类数设成类别数然后看每个聚类的样本在教师软标签上的平均分布。如果某个聚类里样本的教师标签高度一致说明这批样本可信如果某个聚类内部标签很杂说明教师在这批样本上不确定可以把这些样本的软标签和聚类中心做加权融合相当于用图像自身的流形结构去修正文本先验。from sklearn.cluster import KMeans import numpy as np def cluster_calibrate(img_embeds, teacher_probs, num_classes, blend0.3): img_embeds: [N, D] 教师图像嵌入已归一化 teacher_probs: [N, C] 教师软标签 blend: 聚类先验融合权重 kmeans KMeans(n_clustersnum_classes, n_init10, random_state0) cluster_ids kmeans.fit_predict(img_embeds.cpu().numpy()) calibrated teacher_probs.clone() for c in range(num_classes): mask cluster_ids c if mask.sum() 0: continue # 该聚类内教师软标签的平均分布作为聚类先验 cluster_prior teacher_probs[mask].mean(dim0) calibrated[mask] (1 - blend) * teacher_probs[mask] blend * cluster_prior return calibratedblend 设 0.3 是个保守起点聚类质量高可以提到 0.5。这一步的计算量在图像嵌入上教师推理时顺手就能拿到不额外增加多少成本。校准后的软标签再拿去蒸馏在类别边界模糊的任务上通常能涨 2 到 5 个点。验证这套流程是否真的有效我习惯用三个指标交叉看一是学生模型在人工验证集上的 top-1 精度二是伪标签和验证集标签的一致率三是学生输出分布的熵。如果精度涨了但熵骤降说明模型在过拟合伪标签得回头调温度或加正则。这套东西没有银弹参数得在自己的数据上磨。我踩过最深的坑就是一开始迷信教师 zero-shot 的精度直接拿硬标签训结果学生把教师的系统性偏差全学去了后来改成软标签加聚类校准才稳住。希望帮到你。本文还有配套的精品资源点击获取
