【免费下载链接】focalnet_tiny_lrf.ms_in1k项目地址https://ai.gitcode.com/hf_mirrors/timm/focalnet_tiny_lrf.ms_in1k点击查看免费下载focalnet_tiny_lrf.ms_in1k 是一个基于 Focal Modulation NetworkFocalNet的图像分类模型由 Microsoft 作者团队在 ImageNet-1k 上预训练。本文带你逐层解剖它的内部结构——从最底层的stem.proj卷积到 4 个 stages 里的聚焦调制模块再到最终的head.fc分类头帮你完整理解这个仅 28.6M 参数的轻量级视觉骨干网络是如何工作的。 模型速览一张表看懂关键指标在深入结构之前先看 README.md 中记录的核心参数指标数值说明参数量28.6 M轻量级适合部署计算量4.5 GMACs224×224 输入下激活值17.8 M显存占用友好输入分辨率224 × 224ImageNet 标准输出类别1000 类ImageNet-1k特征维度768num_features许可证MIT可商用 命名解码tiny 最小尺寸lrfLongRangeFocus指每个调制模块使用 3 级多尺度窗口对应 3/5/7 卷积核比srf变体2 级的聚焦范围更远ms_in1k Microsoft 官方权重、ImageNet-1k 预训练。️ 整体架构总览四级特征金字塔focalnet_tiny_lrf.ms_in1k 的数据流是一条分辨率递减、通道数递增的清晰链路模块路径输出分辨率输出通道作用stem56 × 56964 倍下采样入口layers.056 × 56962 个 FocalNetBlocklayers.128 × 281922× 下采样 2 个 Blocklayers.214 × 143842× 下采样 6 个 Blocklayers.37 × 77682× 下采样 2 个 Blocknormhead768 维向量1000归一化 全局池化 分类整个网络共12 个 FocalNetBlock2262其中layers.2承担了最重的细粒度建模任务。用features_onlyTrue加载时四个 stage 输出的特征图正是上表中的[96,56,56] / [192,28,28] / [384,14,14] / [768,7,7]可直接用于检测、分割等下游任务。 第 1 层解剖stem —— 一切从 stem.proj 开始stem是整个网络的入口config.json 中first_conv: stem.proj指名的就是它stem.proj一个 4×4 卷积核、stride4 的下采样卷积把 224×224×3 的原始图像直接压缩为 56×56×96 的特征图。相比传统3×3 卷积 池化的两步下采样它一步到位且更平滑。stem.norm紧跟的 LayerNorm2d对 96 个通道做逐点归一化稳定数值范围。 做迁移学习/剪枝时stem.proj就是需要优先关注的第一层卷积——它决定了模型看到的第一个特征表征。⚙️ 第 2 层解剖FocalNetBlock —— 网络的基本积木每个 stage 内部的单元都是FocalNetBlock内部结构为经典的双残差 双归一化x → norm1 → FocalModulation → 残差LayerScale DropPath → norm2 → Conv-MLP(mlp_ratio4) → 残差LayerScale DropPath三个值得注意的设计LayerScale2d每个残差分支乘以一个初始 1e-4 的可学习缩放因子让小模型在训练初期更稳定DropPath随机深度训练时以一定概率整体丢弃残差分支缓解过拟合Conv 版 MLPFFN 部分用 1×1 卷积实现而非线性层保持全卷积架构不要求固定输入尺寸。 第 3 层解剖FocalModulation —— 灵魂所在FocalNet 的核心创新就在FocalModulation模块它回答的问题是如何不用昂贵的全局注意力也能高效捕捉多尺度上下文以 focalnet_tiny_lrf 为例focal_level3、focal_window3、focal_factor2一次 1×1 投影三分输入先经过f投影被切分为q查询、ctx上下文、gates门控权重三份3 级多尺度卷积 全局平均ctx分别流过 3×3、5×5、7×7 三个逐通道深度卷积GELU 激活再叠加一个跨全图 H×W 的平均池化分支——即由近及远四个感受野层次门控加权求和各级上下文按gates的门控权重相加得到自适应的上下文ctx_all聚焦调制q * h(ctx_all)用上下文对查询做逐点调制最后经 1×1 投影proj输出。 直观理解传统自注意力是每个像素看所有像素O(N²) 复杂度而 FocalModulation 用几个小卷积 全局平均就实现了类似效果这正是 4.5 GMACs 超低计算量的来源。lrf命名正来源于此——相比srf的 2 级它多了一级更大的 7×7 感受野。 第 4 层解剖四个 stage 的节奏设计layers.0 ~ layers.3遵循统一的节奏先下采样、后堆 Blockstage下采样downsampleBlock 数设计意图layers.0无stem 已 4× 降2高分辨率下学习纹理layers.12×96→192 通道2过渡扩大感受野layers.22×192→384 通道6算力最重学语义layers.32×384→768 通道2高层抽象接分类头每个下采样层同样由stride-2 卷积 LayerNorm2d构成与stem保持同一风格。整体形成 56→28→14→7 的空间金字塔通道数 96→192→384→768 逐级翻倍。 第 5 层解剖head —— 终点站 head.fc数据流最后经过两个收尾模块norm对 7×7×768 的特征图做最后一层 LayerNorm2d把数值稳定在head.fc最舒服的区间headClassifierHead内部是全局平均池化 → 展平 →head.fc。head.fc即 config.json 中classifier: head.fc所指的那一层 768→1000 的全连接输出 ImageNet 1000 类的 logits。 换成目标检测等任务时通常就是保留到layers.3的输出、丢弃整个head再挂自定义分支。 上手使用三种加载姿势权重文件位于 model.safetensorssafetensors 格式约 114.6 MB与 pytorch_model.bin均通过 timm 加载。前置数据配置ImageNet 均值/标准差、90% 中心裁剪可直接从 config.json 的pretrained_cfg中读取。① 图像分类完整模型model timm.create_model(focalnet_tiny_lrf.ms_in1k, pretrainedTrue) output model(x) # (batch, 1000)② 提取多级特征图features_onlymodel timm.create_model(focalnet_tiny_lrf.ms_in1k, pretrainedTrue, features_onlyTrue) feats model(x) # [96×56×56, 192×28×28, 384×14×14, 768×7×7]③ 生成图像 Embedding去掉分类头model timm.create_model(focalnet_tiny_lrf.ms_in1k, pretrainedTrue, num_classes0) emb model(x) # (batch, 768)⚠️ 注意推理前务必用timm.data.create_transform生成与config.json一致的归一化变换否则会明显掉点。✅ 一句话总结focalnet_tiny_lrf.ms_in1k 用stem 四级下采样 12 个聚焦调制 卷积 MLPBlock 单线性分类头的极简结构以 28.6M 参数、4.5 GMACs 的代价实现了多尺度全局上下文建模——是轻量视觉骨干中算得少、看得全的代表适合对推理速度敏感的分类与特征提取场景。赞分享【免费下载链接】focalnet_tiny_lrf.ms_in1k项目地址https://ai.gitcode.com/hf_mirrors/timm/focalnet_tiny_lrf.ms_in1k点击查看免费下载相关推荐Mamba-minimal代码逐行解读从ModelArgs到RMSNorm的完整架构Mamba minimal代码逐行解读从ModelArgs到RMSNorm的完整架构 Mamba minimal是一个简洁高效的PyTorch实现专门用于选人工智能大模型Windows 10安卓子系统实战方案三步搞定原生Android应用深度整合Windows 10安卓子系统实战方案三步搞定原生Android应用深度整合 Windows Subsystem for Android WSA 作为微软官方操作系统虚拟化Hermes Agent 新手完整指南三分钟搭好你自己的AI代理环境Hermes Agent 新手完整指南三分钟搭好你自己的AI代理环境 如果你也折腾过AI代理的环境配置被一堆依赖搞得头疼那这篇 Hermes AgentAI Agent人工智能AI 应用工具调用Agent 记忆交互助手RAG任务调度MCP 服务上一篇MXNet mxnet.test_utils 测试工具包从数据生成到算子验证的完整实战指南下一篇MXNet numpy 统计例程Statistics Routines全指南从最值、均值到相关性与直方图创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
 到 Broker 走了多远)
