【AI Infra小白入门⑫】GPU显卡选型与租买决策完全指南从学习到训练到推理本文是「AI Infra 小白入门」系列的第十二篇也是第一章的收官之作。前面我们讲了GPU的硬件原理这篇来解决最实际的问题手里有一个任务到底该选什么卡租还是买从入门学习到生产部署一篇文章给你讲明白。一、写在前面选卡的本质还是取舍选GPU卡听起来是个查参数的事但实际上——它还是不可能三角的应用。选卡时你要在这几个维度之间做取舍算力能不能跑得快显存容量能不能装得下显存带宽推理速度的关键互联能力多卡能不能高效通信预算钱够不够先想清楚你的瓶颈在哪再去选卡。比如做训练 → 算力优先做推理 → 带宽和显存优先多卡分布式 → 互联优先学生学习 → 预算优先二、NVIDIA显卡的三条产品线NVIDIA的AI相关显卡主要分三条线产品线代表型号特点谁在用数据中心计算卡V100 → A100 → H100/H200 → B200HBM显存、NVLink、ECC、MIG为训练和多卡集群而生云厂商、大厂、科研机构消费级显卡GeForceRTX 3090 → 4090 → 5090性价比之王但显存小24-32G、多卡无NVLink个人开发者、小团队专业/工作站卡L4 / L20 / L40S、RTX 6000 Ada单槽/低功耗形态介于两者之间推理服务器、工作站命名速记数据中心卡的命名规律字母 架构代际数字 档位V Volta伏打2017年A Ampere安培2020年H Hopper霍珀2022年B Blackwell布莱克威尔2024年消费级的30/40/50系也大致对应Ampere / Ada Lovelace / Blackwell架构。特别提醒国内特供版因为出口管制国内能买到的有些型号是特供版——阉割了某些性能特供型号原版阉割了什么A800A100NVLink从600降到400 GB/s算力不变H800H100NVLink从900降到400 GB/s算力不变H20H100降规算力砍到约148 TFLOPS FP16但保留96G显存 高带宽 NVLinkL20L40S降规算力砍到约120 TFLOPS FP164090D / 5090D4090 / 5090核心规模和AI算力小幅削减规律早期阉互联A800/H800后期阉算力H20/L20/5090D。其中H20特别值得关注——它是典型的大带宽、低算力推理特化卡。对于LLM推理这种memory-bound的场景H20反而很有性价比。三、主流显卡规格对比关键数据一目了然数据中心卡卡架构显存带宽FP16算力FP8NVLink功耗定位V100 32GVolta32G HBM20.9 TB/s125 TF-300 GB/s300W退役老将捡漏学习A100 80GAmpere80G HBM2e2.0 TB/s312 TF-600 GB/s400W上一代训练主力H100 80GHopper80G HBM33.35 TB/s989 TF1979 TF900 GB/s700W旗舰训练/推理H20 96GHopper96G HBM34.0 TB/s148 TF296 TF900 GB/s400W推理特化大带宽低算力H200 141GHopper141G HBM3e4.8 TB/s989 TF1979 TF900 GB/s700W大模型推理优选B200 192GBlackwell192G HBM3e8 TB/s2.25 PF4.5 PF1.8 TB/s1000W当代旗舰L4 24GAda24G GDDR6300 GB/s121 TF242 TF无72W单槽低功耗推理L40S 48GAda48G GDDR6864 GB/s362 TF733 TF无350W全能工作站卡消费级卡卡架构显存带宽FP16算力FP8NVLink功耗定位RTX 3090Ampere24G GDDR6X936 GB/s142 TF-双卡112 GB/s350W二手性价比之王RTX 4090 / 4090DAda24G GDDR6X1008 GB/s165 TF330 TF无450/425W个人/小团队主力RTX 5090 / 5090DBlackwell32G GDDR71792 GB/s~419 TF~838 TF无575W当代消费旗舰从表中读出的四个关键结论显存决定能不能跑带宽决定跑多快LLM decode是memory-bound前面讲过同代卡的推理速度大致与带宽成正比消费卡的短板是显存和互联24-32G的显存天花板没有NVLink多卡只能走PCIe~64 GB/s——无法高效做TPH20/H200是推理性价比之选训练要算力必须H100/B200级别推理只要带宽够大、显存够大就行——H20刚好命中这个需求代际跃迁点HopperH100引入FP8BlackwellB200引入FP4量化推理的收益和硬件代际强相关四、整机搭配买卡不是全部很多人以为买GPU就是买一张卡——错卡只是预算的一部分整机搭配不当卡的性能发挥不出来等于白买。部件经验法则说明内存≥ 1.5–2 × 总显存数据加载、checkpoint落盘缓冲、CPU offload都吃内存。比如8×80G显存 → ≥1TB DDR5硬盘系统1TB NVMe 数据2-4TB NVMe大模型checkpoint动辄几百GBSATA盘会拖垮IOCPU/PCIe多卡先看PCIe通道数消费平台i9/R9只有~24条通道双卡就是x8x84卡以上必须线程撕裂者或EPYC电源单卡≥850W4×4090≥2000W4090/5090瞬时尖峰可达TDP的2倍2000W需要16A电路散热多卡选涡轮版开放式风扇卡并排放会互相加热降频涡轮卡把热直排机箱外形态SXM卡≠能插普通服务器H100 SXM必须配HGX底板整机个人/小团队只能买PCIe版小白避坑别光盯着卡的价格算预算整机其他部件还要花30%-60%的钱五、按场景选型你的情况适合什么卡显存需求速算公式先算清楚你需要多少显存P 模型参数量单位B任务显存 ≈例子7B / 70B推理 FP16/BF162×P × 1.3权重KV激活7B≈18G / 70B≈180G推理 INT81×P × 1.37B≈9G / 70B≈90G推理 INT40.5×P × 1.37B≈5G / 70B≈45GLoRA微调~2.5×P7B≈18G / 70B≈175G全参微调AdamW混合精度~16×P7B≈112G / 70B≈1.1TB注全参微调可以用ZeRO/FSDP把优化器状态分摊到多卡上表是总显存池需求。场景推荐场景推荐配置理由入门学习 / 跑课程代码二手3090 24G 或 租4090最便宜的真卡环境24G够跑所有实验7B-13B推理 LoRA微调个人4090 24G / 5090 32G单卡全覆盖5090的32G 1.8TB/s更从容7B-13B全参微调4×A100-80G 或 2×H100需要~112G显存池消费卡多卡无NVLink效率低70B推理INT4单卡H20 96G / 双卡409045G显存带宽越大decode越快70B推理FP16生产级2×H100 / H200 或 4×A100180G显存 高带宽 NVLink TP高并发LLM推理服务H20集群 或 H200H20大带宽低算力恰好匹配decode的memory-bound70B预训练H100/H800 × 数百卡 IB网络算力与互联缺一不可这是集群工程边缘部署/车载Jetson Orin系列功耗15-60W统一内存预算极低纯学习云租T4/L4按小时几毛钱一小时别买卡一句话决策树任务是什么 ├─ 学习/实验7B──────────────→ 3090/4090租优先 ├─ 推理 │ ├─ 模型能塞进单卡INT4后 ≤ 显存→ 选带宽/显存比最高的5090 / H20 / H200 │ └─ 塞不进单卡 → H100/H200 多卡TP要NVLink别用消费卡堆 ├─ 微调 │ ├─ LoRA → 按2.5×P选显存4090/5090通常够 │ └─ 全参 → 按16×P算总显存池 → A100/H100 多卡消费卡止步 └─ 预训练 → 别买单卡谈集群H100/H800 IB六、租 vs 买怎么算账最划算价格量级参考时租参考2025年国内市场仅供估算卡时租¥/小时4090 24G1.5 – 2.5A100 80G5 – 8H800 80G12 – 18单卡购买参考价量级差异极大卡参考价¥RTX 3090 24G0.6 – 0.8 万仅二手RTX 4090D 24G1.3 – 1.5 万RTX 5090D 32G1.7 – 2.2 万A100 80G7 – 10 万二手/拆机为主H20 96G10 – 13 万H800 80G20 – 25 万回本周期怎么算回本周期天 购卡总成本 ÷时租价 × 日均使用小时数举个例子4090买单卡整机 ≈ ¥2.8 万租¥2/小时每天用8小时回本周期 28000 ÷ (2 × 8) 1750天 ≈ 4.8年每天用20小时推理服务回本周期 700天 ≈ 1.9年决策结论日均使用 6小时利用率 25%→ 租个人学习、突击项目、论文复现——租更划算长期7×24高负载利用率 60%→ 买或自建推理服务、持续预训练——买更划算别忘了隐性成本整机其他部件CPU、内存、电源…≈ 卡价的30%-60%电费一张4090满载一年约¥3000散热、噪音、场地代际折旧2-3年新一代出来旧卡贬值很快买卡避坑清单二手矿卡/训练卡3090大量来自矿场和7×24训练机房到手一定要测——看通电时间、跑显存压力测试4090 48G魔改卡拆显存重焊的扩容卡无保修、稳定性差生产环境绝对不要用SXM卡单买没用H100 SXM没有HGX底板就是一块砖头——别贪便宜买了用不了合规与时效4090/5090、H100/B200对华限售渠道货价格波动大且有风险七、一页纸总结你的情况建议学生/转行者跑课程与面试项目租4090¥2/h重度用户买二手3090个人开发者做7-13B应用5090 32G预算足或4090 24G小团队推理服务70B级租H20/H200验证收入后再买训练需求全参微调/预训练租A100/H100多卡自建只在长期高负载时划算任何场景先算显存需求再按带宽优先推理/算力优先训练挑卡八、第一章收官我们学到了什么到这里「全景认知与前置基础」这一章就全部讲完了。我们来回顾一下全景认知1.1-1.4什么是AI Infra连接算法和硬件的中间层五大方向分工协作不可能三角计算、通信、显存——所有优化都是取舍大厂组织架构不同公司的技术侧重点不同岗位路线图初级→中级→高级薪资和能力要求逐级提升学习路线图前置基础→CUDA/算子→分布式训练→推理部署→项目实战前置基础1.5-1.12编程语言Python上层胶水 C性能关键 Linux环境基础数学基础线代矩阵乘法FLOPs、概率Softmax交叉熵、微积分链式法则Transformer架构Attention的O(N²)复杂度、FFN的参数量、KV Cache的演进PyTorch框架Tensor、autograd、Module、profiler、checkpointGPU硬件SM、Tensor Core、存储层次、Memory Wall、Roofline模型集合通信AllReduce、Ring/Tree算法、NCCL、NVLink vs IB工具链gdb、perf、nsys、ncu——从全局到局部的调试思路GPU选型按场景选卡、租vs买的决策方法这些内容就是AI Infra的地基。地基打牢了后面的高楼才能盖得稳。下一章预告我们将进入CUDA编程与HPC高性能计算——从CUDA编程体系开始一步步深入GPU内核编程的世界。这是AI Infra工程师的硬功夫准备好了吗本系列导航第一章·完第1篇一文搞懂什么是AI基础设施五大方向与不可能三角第2篇大厂AI Infra组织架构大揭秘第3篇AI Infra岗位路线图级别、薪资与成长路径第4篇AI Infra学习路线图从入门到精通的完整指南第5篇AI Infra必备编程基础Python、C与Linux速通指南第6篇AI Infra数学基础速成线代、概率与微积分工程向第7篇Transformer架构工程拆解从Attention到MLA的优化密码第8篇PyTorch框架Infra实战指南Tensor、autograd与性能调试第9篇GPU硬件概论从SM到Memory Wall搞懂优化的物理基础第10篇集合通信基础AllReduce、Ring算法与NCCL全解析第11篇AI Infra工具链指南性能分析与调试工具一网打尽第12篇GPU显卡选型与租买决策完全指南本文
