【免费下载链接】VOSR2-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/VOSR2-fp16点击查看免费下载VOSR2-fp16是一个基于 MLX 框架的一步式生成超分辨率Super-Resolution模型以 fp16 精度发布支持 1×4× 图片放大与修复。仓库中的 config.json 是整个模型的核心说明书它用不到 120 行 JSON完整描述了DiT 主模型、Qwen-Image 2D VAE、DINOv2 特征编码器三大组件的关键配置。本文逐项精讲每个参数的含义与作用帮你快速读懂这份超分辨率模型的配置。 仓库文件总览一份配置 三个权重文件在讲参数之前先看一下仓库由哪些文件组成文件作用config.json模型关键配置本文主角含 transformer / vae / dinov2 三段transformer_fp16.safetensorsLightningDiT 1.394B 主超分模型权重fp16vae_fp16.safetensorsQwen-Image 2D VAE 编解码器权重fp16dinov2_fp16.safetensorsDINOv2 ViT-L/14 特征编码器权重fp16blocks 0–17README.md项目说明、精度一致性Parity数据与使用方式 这个仓库是交付通道shipping lane下游 Swift/MLX 移植项目会在加载时基于 fp16 权重动态派生 int8 量化层因此config.json 的每个字段都直接影响推理行为。 第一段transformer —— DiT 主模型配置transformer段config.json描述负责生成式放大的 DiT 主干网络可分为四组。1. 基础架构参数决定模型大小和输入粒度参数值通俗解释resolution512模型按 512×512 分辨率训练推理时建议以此为基准切块patch_size2每个图像 patch 的边长为 2潜空间维度patch 越小token 越多、细节越强但计算量越大dim1536Transformer 主干的隐藏层宽度是模型容量的核心指标之一depth36Transformer 层数36 层决定生成过程迭代的深度num_heads24多头注意力的头数1536 ÷ 24 每头 64 维mlp_ratio4FFN 中间层宽度 dim × 4即 6144控制每层的非线性容量2. 现代 Transformer 技巧开关这几个布尔值开启的都是近年扩散/生成模型的主流改进组件use_qknorm: true—— 对 Q/K 向量做归一化训练和推理都更稳定use_swiglu: true—— FFN 使用 SwiGLU 激活比传统 GELU 结构效果更好use_rope: true—— 启用 RoPE 旋转位置编码权重文件中保留了 RoPE 查找表use_rmsnorm: true—— 使用 RMSNorm 替代 LayerNorm更高效wo_shift: false—— 关闭 wo 层的 shift 技巧保持原始结构。3. 条件与训练相关参数VAE 与去噪时间分布参数值含义ae_typeqwen自动编码器AE选用 Qwen-Image 系 2D VAEae_pathpreset/ckpts/Qwen-Image-vae-2d上游训练时 VAE 检查点的路径本仓库已将其转为 vae_fp16.safetensorstime_dist[lognorm, 0, 1.0]去噪时间 t 按 log-normal 分布采样范围 0~1这是训练细节推理时保持原值即可cfg_ratio0.1无分类器引导CFG的 dropout 比例训练用cfg_scale1.5推理时 CFG 引导强度值越高越贴近低分辨率输入4. DINOv2 条件编码器接入与单步蒸馏参数这是 VOSR2 最有特色的一组参数——它用DINOv2 提取的特征作为条件输入而不是文本提示vision-only的含义参数值含义dinov2_size448输入 DINOv2 前先缩放到 448×448enc_typedinov2l使用 DINOv2ViT-Large变体enc_dim1024编码器输出特征维度layer_dinov2b_list[17]取 DINOv2 第 17 层倒数第 4 层的中间特征作为条件interp_typelin用线性插值把特征从 448 网格对齐到目标分辨率encdim_ratio3条件特征投影到 DiT 时的扩展比例cond_strength_aelq_list[5, 1]两级低分辨率条件的注入强度由强到弱是条件融合的核心旋钮weak_cond_strength_aelq_list[0, 0]弱条件分支强度0 表示该分支不启用t_start/t_end0/1去噪时间区间从 t0 跑到 t1覆盖完整单步去噪auxiliary_time_condfalse不启用辅助时间条件distill_typeonestep单步蒸馏——VOSR2 的one-step卖点来源一次前向即可输出高清图推理速度极快 第二段vae —— Qwen-Image 2D VAE 配置vae段config.json描述负责像素 ↔ 潜空间往返的编解码器参数值含义_class_nameAutoencoderKLQwenImage2D源自 diffusers 0.35.0 的 Qwen-Image 2D KL 自动编码器base_dim96最浅卷积层的通道数dim_mult[1, 2, 4, 4]逐下采样层通道倍增96 → 192 → 384 → 384z_dim16潜空间通道数为 16即 DiT 在 16 通道潜变量上工作non_linearitysilu全程使用 SiLUSwish激活num_res_blocks2每个下采样级联 2 个残差块dropout0.0推理配置无随机丢弃attn_scales[]空数组 该 VAE 不使用注意力下采样层latents_mean/latents_std各 16 个数16 个潜通道的均值/标准差用于潜空间归一化——加载时必须与权重严格对应不可改动temperal_downsample[false, true, true]从视频 VAE 继承的字段2D 图像场景下不参与逻辑保持原值即可⚠️latents_mean和latents_std是逐通道标定数据改了它们等于换了坐标系输出会直接失真。 第三段dinov2 —— 特征编码器配置dinov2段config.json描述 DINOv2 ViT-L/14 的加载方式参数值含义archvit_largeViT-Large 架构对应权重文件名中的 dinov2v2 系列patch_size14每个 patch 14×14 像素448 输入 → 32×32 1024 个 tokenembed_dim1024patch embedding 维度depth_kept18只加载前 18 个 block0–17——因为 DiT 只消费第 17 层特征更深的层直接裁掉省显存num_heads/mlp_ratio16/416 头注意力FFN 扩展 4 倍layerscaletrue启用 LayerScale提升深层稳定性qkv_biastrueQKV 投影带 biasln_eps1e-06层归一化 epsiloninput_size448与dinov2_size对应的标准输入尺寸feature_layer17与 transformer 段的layer_dinov2b_list呼应取第 17 层特征pos_embedinterpolated to 448² (offset 0.1, bicubic)位置编码已按 448² 输入预先双三次插值完成加载时直接可用depth_kept: 18feature_layer: 17说明权重文件 dinov2_fp16.safetensors 是裁剪版只保留 DiT 实际用到的 block 及其以下的层这也是文件体积小巧的原因。 key_contract权重命名契约进阶必读config.json 的最后一行key_contract是整个配置文件里最容易被忽略、却最重要的暗线conv (O,kh,kw,I); Sequential children → layers.N; VAE gamma (C); DINOv2 blocks 0..17 only它规定了各.safetensors权重张量在 MLX 中的内存布局约定约定含义涉及文件conv (O,kh,kw,I)卷积权重为输出通道优先MLX 原生布局与 PyTorch 的 NHWC 布局不同全部三个权重文件Sequential children → layers.NDiT 中nn.Sequential的子模块展平为layers.N键名transformer_fp16.safetensorsVAE gamma (C)VAE 中 RMSNorm2D 的 gamma 被压缩为(C)一维vae_fp16.safetensorsDINOv2 blocks 0..17 onlyDINOv2 只保留 block 0–17dinov2_fp16.safetensors如果你要自行加载或二次转换权重必须先读懂这一行否则张量对不上。 快速开始如何用上这套配置获取仓库git clone https://gitcode.com/hf_mirrors/mlx-community/VOSR2-fp16下游 Swift/MLX 移植项目mlx-vosr-swift首次使用时会自动把本仓库物化到模型库配置片段见 README.mdlet id try await engine.register(VOSRUpscalePackage.registration, configuration: VOSRConfiguration(quant: .fp16)) let out try await engine.run(ImageUpscaleRequest(image: image, scale: 2), package: id) // ×1…×4官方给出的精度一致性参考对上游 PyTorch fp32 实现解码后 512² 输出通道PSNRfp32 通道115.5 dB分块 1024² 时 121.9 dBfp16 通道本仓库49.3 dBfp16 int8 DiT46.7 dB 新手避坑指南不要把time_dist、cfg_ratio当推理旋钮它们是训练期参数推理时保持原值即可真正影响效果的推理参数是cfg_scale和cond_strength_aelq_list。16 是潜空间魔法数z_dim: 16与两组 16 长度的latents_mean/std一一对应三者必须成套使用。448 与 512 的关系DINOv2 工作在 448 输入上提取条件特征DiT 工作在 512 分辨率的潜空间上两者通过interp_type: lin线性插值对齐无需手动干预。生成式模型会改写文字README 明确提示——对已清晰的小字号文本模型可能重写字母文字密集的输入建议先过可读性防护再处理。fp16 是精度甜点上游实测 bf16 只有 37.6 dBDiT 残差流峰值达 126超出 bf16 舒适区所以 fp16 才是对外交付的精度档。总结VOSR2-fp16 的 config.json 把三大组件的配置浓缩在一个文件里transformer段定义了 36 层、dim 1536 的 LightningDiT 及其 DINOv2 条件接入与单步蒸馏参数vae段描述了 16 通道潜空间的 Qwen-Image 2D VAE 及其归一化标定dinov2段则是裁剪至 block 0–17 的 ViT-L/14 特征提取器配置。看懂这份配置就掌握了这个一步式超分辨率模型的完整脉络。赞分享【免费下载链接】VOSR2-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/VOSR2-fp16点击查看免费下载相关推荐HEART-fp16 config.json 逐字段精讲30 个架构超参数与 fp16 张量保留规则HEART fp16 config.json 逐字段精讲30 个架构超参数与 fp16 张量保留规则 HEART fp16 是一个把约 1670 万参数的 Hconfig.json里50个键逐一精讲AliceAI-Foundation-80B-A3B-Base模型超参数完全参考手册config.json里50个键逐一精讲AliceAI Foundation 80B A3B Base模型超参数完全参考手册 AliceAI Foundat人工智能大模型基础模型预训练Redis on Windows 配置完全指南redis.conf 关键参数逐项精讲Redis on Windows 配置完全指南redis.conf 关键参数逐项精讲 Redis on Windows 是 Redis 内存数据库的 Wind数据库KV存储缓存上一篇SRS 代码阅读工作流详解基于 learn-code.md 的零修改溯源方法论下一篇FastGPT 工作流判断器回连交互节点二次不渲染问题分析与 interactiveId 修复方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
