1.3 GMACs 跑通图像分类deit_tiny_distilled_patch16_224.fb_in1k 蒸馏 Transformer 快速上手【免费下载链接】tt-metal:metal: TT-NN operator library, and TT-Metalium low level kernel programming model.项目地址: https://gitcode.com/GitHub_Trending/ttm/tt-metaldeit_tiny_distilled_patch16_224.fb_in1k 用5.9M 参数、约1.3 GMACs的单次推理开销就能完成 224×224 图像分类是边缘端与移动端落地轻量视觉 Transformer 的实用之选。一张表看懂关键参数跑之前先确认几个核心规格心里有数再动手参数数值说明参数量5.9M体积极小搬运到端侧设备的成本很低计算量1.3 GMACs单次前向乘加次数决定实时性上限输入尺寸224×224 RGB与 ImageNet 标准预处理分辨率一致特征维度192forward_features输出每个 token 的维度训练集ImageNet-1k1000 类自然图像分类基准提示GMACs是十亿次乘加运算的单位数字越小对硬件算力的要求越低也越省电。它凭什么又快又好先用一个类比理解知识蒸馏学徒跟大厨学做菜师傅不会把整本菜谱塞给他而是现场演示火候与摆盘——学徒花远小于啃完所有书的力气就能还原出九成的味道。知识蒸馏同理大教师模型输出的不是唯一的硬标签而是猫 0.8、狗 0.1……这样一份软概率排序小学生模型去模仿这份排序。deit_tiny_distilled_patch16_224.fb_in1k 就是按这个思路训练出来的。顺着输入→处理→输出把它的计算过程过一遍就清楚了。输入端你给它的是一张 224×224 的图。模型先把画面切分成 196 块 16×16 的 patch再用线性映射把每一块变成 192 维向量——这就是patch token你可以把 token 理解成模型眼中的一句话它不再逐像素看图而是把每块图像当作一个可计算的单元。此外还会拼上两个特殊 token汇总整图信息的CLS token以及专为模仿教师软答案而生的distillation token最终得到 198 个 token 的序列。处理端这 198 个 token 依次穿过 12 层编码块。每块里的多头自注意力让所有 patch 互相交换信息感受图像上下文distillation token 则在每一层同步更新把教师模型的知识一点点吸收进来。输出端CLS token 与 distillation token 各过一个分类头得到两份打分logits两者取平均后就是最终预测。这也解释了为什么它又快又好——蒸馏信号全程参与而不是只改最后一步。上图来自仓库技术报告 tech_reports/ViT-TTNN/vit.md展示同族 ViT 模型的注意力计算如何映射到 Tenstorrent 硬件上想看底层细节可以参考。三步跑通第一个推理Step 1 环境安装装好 timm 推理依赖该模型已内置在 timm 库中你不需要额外下载权重文件一个装好 PyTorch 的干净 Python 环境即可。执行一条命令装齐依赖pip install timm torch torchvision✅ 装完后import timm不报错就可以进入下一步。Step 2 一次前向推理8 行代码出分类结果加载预训练 checkpoint按模型自带的数据变换配置做预处理再对一张本仓库的样例图做前向。最后一行打印预测类别索引import timm from PIL import Image model timm.create_model(deit_tiny_distilled_patch16_224.fb_in1k, pretrainedTrue).eval() cfg timm.data.resolve_model_data_config(model) tfm timm.data.create_transform(**cfg, is_trainingFalse) img Image.open(models/sample_data/huggingface_cat_image.jpg) print(model(tfm(img).unsqueeze(0)).argmax(-1))样例图直接取自仓库models/sample_data/huggingface_cat_image.jpg无需从网络拉取。Step 3 抽取特征向量拿 192 维图像嵌入如果你的目标是相似度检索或特征存储而非类别预测把num_classes设为 0 去掉分类头改调forward_features即可得到形状为(1, 198, 192)的 token 序列feat_model timm.create_model( deit_tiny_distilled_patch16_224.fb_in1k, pretrainedTrue, num_classes0, ).eval() feat feat_model.forward_features(tfm(img).unsqueeze(0)) print(feat.shape) # torch.Size([1, 198, 192])落地场景对照场景为什么适合手机 App 端图像识别5.9M 参数 1.3 GMACs端侧 NPU/手机芯片可轻松承载物联网边缘视觉分析无 GPU 依赖功耗低适合常电受限的传感器节点高并发实时分类服务单样本计算量小同等算力下可支撑更高 QPS轻量特征检索与去重192 维嵌入索引成本低便于做相似图匹配参考与延伸论文引用bibtexInProceedings{pmlr-v139-touvron21a, title {Training contenteditable="false">【免费下载链接】tt-metal:metal: TT-NN operator library, and TT-Metalium low level kernel programming model.项目地址: https://gitcode.com/GitHub_Trending/ttm/tt-metal创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
