人工智能大模型多模态计算机视觉模型量化【免费下载链接】NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4点击查看免费下载NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 是一款 1200 亿参数激活 120 亿的视觉语言大模型它的眼睛就是 C-RADIO 视觉编码器。这篇文章带你从零拆解这条视觉链路一张图片如何被切块、编码、压缩最终变成语言模型能读懂的 token视频又是如何逐帧处理并瘦身进上下文的。一、C-RADIO 视觉编码器是什么C-RADIO 是一个基于 Transformer 的视觉塔Vision Tower结构类似 ViT但做了若干增强。它的核心参数在 configuration_radio.py 中定义参数值含义hidden_size1280视觉特征维度num_hidden_layers32编码器层数num_attention_heads16注意力头数patch_size16每张图切成 16×16 像素的小块max_img_size2048位置编码支持的最大分辨率num_cls_tokens/num_registers3 / 7前置的摘要与寄存器tokensummary_idxs[0, 1]从 cls token 中取哪两个做全局摘要实现代码在 modeling_radio.py整个编码过程可以概括为四步归一化 → 切块投影 → 32 层编码 → 输出摘要特征。二、第一步图像预处理与动态分辨率图片进入模型前先由图像处理器处理逻辑在 image_processing_nemotron_h_omni.py 中默认参数见 preprocessor_config.json动态分辨率不把所有图片硬缩成同一尺寸而是在min_num_patches1024到max_num_patches13312的 patch 网格内按原图宽高比选择最合适的切块数——细节多的文档图会保留更多 patch简单图则省 token高质量缩放使用抗锯齿的 bicubic 插值避免锯齿噪声在编码过程中被放大像素归一化用 CLIP 的均值/标准差norm_mean/norm_std把 0~255 的像素值缩放到标准分布。 这个设计的巧妙之处图像 token 数量与图片信息量成正比而不是一刀切既保细节又省算力。三、C-RADIO 编码器内部从像素块到特征向量进入 RadioModel 后流水线依次是输入归一化器InputConditioner在 float32 下完成像素归一化后转回原精度保证数值稳定CPE 分块投影PatchEmbeddings把图像切成 16×16 的块并线性投影到 1280 维位置编码不是一张固定大小的表而是从 2048×2048 的大表里按当前分辨率双线性插值裁剪Cropped Position Embedding所以同一套权重能适配任意尺寸的图片前置特殊 token在序列头部拼接 3 个可学习的 cls token 和 7 个 register token用来汇总全局信息和吸收注意力噪声32 层编码器堆叠每层是 LayerNorm → 多头自注意力 → MLP 的经典结构支持 SDPA / FlashAttention 加速并带 DropPath 与 LayerScale 正则。最终编码器输出两样东西见RadioModelOutputsummary从指定 cls token 里取出的全局摘要向量回答这张图整体是什么features每个 patch 的稠密空间特征保留图的每个位置是什么细节。后续真正喂给语言模型的主要是features这条稠密分支。四、连接器Connector把视觉特征翻译成语言视觉塔输出的 1280 维特征不能直接进语言模型中间的翻译官是视觉投影器定义在 modeling_nemotron_h_omni.py 的NemotronH_Omni_Reasoning_V3VisionProjector中Pixel Shuffle 空间压缩按downsample_ratio0.5把相邻 2×2 个 patch 的特征合并成一个token 数量直接减为 1/4——这是控制视觉 token 开销的关键一招MLP 投影RMSNorm → Linear → ReLU² → Linear把压缩后的特征从视觉空间映射到语言模型的隐空间projector_hidden_size4096占位符替换处理文本时prompt 里的image标记会被展开成与实际视觉 token 数量等长的占位序列img…/img再由masked_scatter把这些位置精确替换为图像嵌入见 processing_nemotron_h_omni.py。这样语言模型拿到的就是一条图像嵌入 文本 token完全混排、长度已对齐的输入序列。五、视频是怎么喂进去的两帧打包 EVS 剪枝视频比图片多出时间维度这条链路有专门的优化时间维打包video_temporal_patch_size2每 2 帧沿时间维叠成一个时空 patch用独立的video_patch_projection投影帧数直接减半见 modeling_nemotron_h_omni.py 的forward_video每帧固定预算视频帧使用独立的video_target_num_patches1024目标 patch 数并保持宽高比避免个别帧过大会挤爆上下文EVS 视频 token 剪枝compute_retention_mask会计算相邻帧特征的余弦相似度把变化不大的冗余 token 按video_pruning_rate剪掉——官方部署建议值为0.5即剪掉一半冗余视觉 token首帧 token 始终保留。处理器还贴心地为视频生成带时间戳的文字说明Frame 1 sampled at 0.50 seconds 等让模型天然具备第几秒发生了什么的时间感知。六、快速部署一条命令跑起来部署参考 README.md核心 vLLM 启动命令视频理解场景vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \ --trust-remote-code \ --gpu-memory-utilization 0.75 \ --video-pruning-rate 0.5 \ --media-io-kwargs {video: {fps: 2, num_frames: 256}}关键参数含义--video-pruning-rate 0.5开启上文提到的 EVS 剪枝fps: 2, num_frames: 256表示每秒抽 2 帧、最多 256 帧。硬件上 1× DGX Spark、1× H200、2× H100 或 1× GB200 即可承载。模型配置全貌可对照 config.json 与 processor_config.json。总结一条完整的视觉数据通路图片 → 动态分辨率缩放 CLIP 归一化 → 16×16 切块 CPE 位置编码 → C-RADIO 32 层编码features / summary → 2×2 Pixel Shuffle 压缩 → MLP 投影到语言空间 → 替换 image 占位符 → 进入 120B MoE 语言模型 视频 → 每 2 帧打包时空 patch → 同上编码 → EVS 剪掉 ~50% 冗余 token → 替换占位符 → 进入语言模型✨ 一句话记忆C-RADIO 负责看懂Pixel Shuffle 负责省 tokenMLP 投影负责说语言EVS 剪枝负责管预算——四段流水线协同才让 1200 亿参数的语言模型能同时消化文本、图片与视频。想进一步阅读源码细节可以从 modeling_radio.py视觉塔和 modeling_nemotron_h_omni.py多模态融合两个文件入手。赞分享人工智能大模型多模态计算机视觉模型量化【免费下载链接】NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4点击查看免费下载相关推荐NVIDIA-Nemotron-3.5-Super-VL-120B-A12B如何看懂图片C-RADIO视觉编码器与PixelShuffle投影器完整解析NVIDIA Nemotron 3.5 Super VL 120B A12B如何看懂图片C RADIO视觉编码器与PixelShuffle投影器完整解析 NVNVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr完整指南1.13B轻量草稿模型如何为120B视觉语言大模型加速推理NVIDIA Nemotron 3.5 Super VL 120B A12B NVFP4 LiLiCorr完整指南1.13B轻量草稿模型如何为120B视觉语言人工智能大模型推理模型多模态模型量化NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4是什么一文读懂120B多模态视觉语言模型的12B激活魔法NVIDIA Nemotron 3.5 Super VL 120B A12B NVFP4是什么一文读懂120B多模态视觉语言模型的12B激活魔法 NVIDIA人工智能大模型多模态计算机视觉模型量化上一篇PanWatch AI盯盘成本测算TradingAgents 单次$0.05月度AI预算完整指南下一篇OpenRig rig discover与rig adopt教程把已有Claude Code和Codex会话纳管创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
