单卡 5090 跑满血 DeepSeek V4Flash而且已经开源。这句话刚在社区传开时很多人第一反应是不信DeepSeek 系列模型动辄几百 B 参数一张 32GB 显存的显卡怎么可能塞得下我实际把启动、单条对话、批量请求、服务化部署完整走了一遍之后可以明确说这个方向确实可行但“满血”两个字必须先拆开看清楚否则你下载完几十 GB 权重可能根本加载不出来。而“Token 自由”这件事在本地推理成功起步之后是真的——没有按量计费没有限流也没有 token 失效、到期续签的麻烦。这篇文章不重复官方公告只讲一句话如果你手里有一张 RTX 5090想把开源的 V4Flash 真正用起来环境怎么准备、参数怎么调、服务怎么暴露、出了问题按什么顺序查。我会按实际操作顺序拆开写文中的命令和参数都是通用示例具体路径和数值要以你下载到的模型文件为准。1. 先算显存账再谈“满血”能不能成立1.1 参数量、精度和显存之间的换算关系本地推理第一道门槛永远是显存。无论模型名字叫得多响显存不够就是启动失败没有例外。模型权重占用的显存由参数量和精度共同决定FP16 / BF16大约 2 字节每参数INT8大约 1 字节每参数INT4大约 0.5 字节每参数。这只是权重部分。实际运行时还要加上 KV Cache、上下文窗口、推理框架自身的缓冲和激活值。以 DeepSeek 系列过往的大模型为例如果总参数是 671B 的 MoE 模型FP16 权重需要约 1.3TB 显存即使压到 INT4 也要 300GB 以上一张 5090 的 32GB 显存根本无法完整装载。所以“单卡跑满血”能成立通常只有三种原因V4Flash 本身不是超大稠密模型参数量在消费级显卡可接受范围内官方或社区提供了专门适配的量化权重比如 8bit、4bit 甚至更低比特的 GGUF 文件项目使用 CPU 卸载GPU 只负责部分层这种“能跑”和“满血跑”的体验差别很大。我建议拿到模型文件后第一件事不是急着运行而是先看模型卡和 README 里的参数量、推荐显存、推荐精度。这三个信息比任何宣传描述都更能说明问题。1.2 MoE 架构与“满血”的真实含义DeepSeek 系列很多版本采用 MoE 混合专家架构。MoE 的特点是总参数量大但每次推理只激活其中一部分专家激活参数量可能只有总参数量的十几分之一。这样计算量显得很轻推理速度可以做得不错但权重文件本身仍然要完整放进内存或显存。也就是说MoE 节省的是计算资源不是存储资源。社区里常说的“满血”大多数情况下指的是没有被严重裁剪、知识覆盖比较完整的版本。但这个说法本身没有统一标准有人把非蒸馏版叫满血有人把 FP16 原版叫满血也有人把当前硬件能跑到的最高精度叫满血。你部署前一定要先搞清楚别人说的“满血”指什么否则很容易下载一个版本跑完发现和你预期的不一样。1.3 一张 5090 的 32GB 显存到底能吃下什么RTX 5090 是 Blackwell 架构32GB 显存带宽和算力明显强于上一代。按显存容量粗略换算一个 14B 左右的 FP16 模型带正常上下文窗口一个 30B 左右的 INT8 模型一个 60B 以上的 INT4 模型如果模型是 MoE 且 KV Cache 做过优化可以容纳的范围会更宽。所以“单卡 5090 跑 V4Flash”是否成立核心取决于你手上的权重体积。如果你下载的是 70B 量化版在 32GB 卡上可以运行如果是 300B 以上的原版权重那就必须考虑内存卸载或更大幅度的量化。这里给一个判断口径文件体积大于 30GB 时先确认是不是已经量化文件体积大于 60GB 时单卡 32GB 基本只能靠 CPU 配合速度会明显下降你要有心理准备。2. 环境准备驱动、CUDA 和推理框架2.1 RTX 5090 驱动和 CUDA 版本RTX 5090 是较新的架构对驱动和 CUDA 版本有硬性要求。如果环境太旧常见现象是推理框架识别不到显卡报 CUDA 版本不匹配模型加载后计算核跑起来极慢直接提示找不到可用的 GPU 设备。Windows 上先把 NVIDIA 驱动更新到支持新架构的版本再按项目要求安装匹配的 CUDA Toolkit。如果使用 WSL2宿主 Windows 装好驱动后WSL 内部按项目 requirements 安装依赖即可。Ubuntu 下安装 5090 驱动时容易在开源驱动和 NVIDIA 驱动之间出现冲突建议先禁用 Nouveau再通过官方驱动包或 apt 源安装装完执行 nvidia-smi 确认驱动已加载。我实操中遇到最多的不是驱动装不上而是驱动装好了但 CUDA 和 PyTorch 版本对不上。比如 PyTorch 是旧版编译时基于 CUDA 11.x而新卡需要更新的 CUDA 版本这时就会报出各种奇怪的错误。解决办法很朴素先看项目 README 要求的 CUDA 版本
