写在前面欢迎大家关注Rocky的知乎Rocky Ding《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book欢迎大家StarRocky最新撰写的10万字AI AgentAI智能体深入浅出全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识欢迎大家加入https://t.zsxq.com/33pJ0大家好我是Rocky。一个模型能在离线脚本里生成答案与它能在真实流量下稳定服务是两项不同的工程成果。前者验证计算图能够运行后者要求计算、通信、缓存和调度在同一个延迟预算内协作。长上下文、多轮工具调用和多模态输入把这种区别放大了。DeepInfer把DeepSeek-V4.1-Flash的一部分生产推理实现开放出来让开发者能够研究模型结构与服务系统如何共同设计。Rocky认为DeepInfer最值得研究的是资源组织方式怎样把已经算过的内容留下把互相干扰的阶段分开再把这些选择转化为可测量的合格交付成本。这也决定了阅读它的顺序。先看请求经过哪些资源再看单个优化成立的条件最后讨论吞吐与收入。顺序一旦颠倒很容易把大集群的运营结果误读成一个软件包的性能承诺。一、DeepInfer开放了什么完整服务还缺什么DeepInfer当前支持DeepSeek-V4.1-Flash离线示例默认使用DeepSeek-V4.1-Flash-1017权重。公开能力包括优化算子、模型与采样运行时、分布式并行、异步调度、DSpark推测解码、SWA bounded replay以及正则、JSON Schema和EBNF约束输出。仓库还提供批次不变推理与确定性采样选项但有硬件和配置条件。公开硬件路径是NVIDIA SM100与华为Ascend 950。环境要求包括Linux、GCC 13及以上、Python 3.12NVIDIA路径使用CUDA 13昇腾路径使用CANN 9.2。这些条件说明它面向特定的新硬件与大规模模型不能把“有NVIDIA显卡”理解成受支持的部署条件。DeepInfer代码采用Apache 2.0。伴随开放的deepseek-recipe负责协议与模型编码转换其代码和公开文档采用MIT许可两者需要分别识别。框架许可也不能替代所加载权重及其他组件的许可。完整服务的边界尤其清楚生产KV Cache系统、视觉编码PrefillDecode分离部署以及Prefill和Decode数据并行副本之间的负载均衡没有作为可直接复用的完整在线系统全部开放。部分引擎能力已经实现生产编排与运维仍需要接入方补齐。层次已公开的核心内容接入方仍须验证的结果模型执行算子、模型运行时、采样与并行在目标硬件上正确运行、数值与质量回归阶段协作分离部署所需的多项引擎能力资源分配、队列、传输与故障接管状态管理缓存相关机制与生产设计说明持久化、目录服务、命中、回收与恢复对外接口recipe协议转换与输出解析HTTP服务、工具执行、业务策略和观测这里的工程价值很实在它给出了可研究和适配的官方核心实现。但投入决策仍应按自己的服务边界估算工作量。二、先拆开E/P/D再理解吞吐与延迟为什么互相牵制一个视觉请求先经历Vision Encoder再进入处理提示的Prefill最后逐Token Decode。不同阶段处理的对象不同视觉阶段受图像patch数量影响Prefill受未缓存输入与上下文长度影响Decode受并发序列、历史KV长度和逐步生成影响。图中体现的是官方生产架构包含没有完整开源的配套服务。入口、负载均衡、计算实例与存储共同组成请求路径因此不能把架构图中的每个方框都当成仓库里现成的部署模块。将这些阶段分离允许分别控制首Token时间TTFT和Token间隔TBT。图片处理不能无限挤占文本生成长输入也不能在同一个调度队列里反复阻塞短请求。但是分离会新增传输、排队、状态同步和故障处理是否划算取决于阶段负载与互连条件。用于理解延迟的一个简化分解是T f i r s t ≈ T q u e u e T v i s i o n T c a c h e T p r e f i l l T h a n d o f f T d e c o d e , f i r s t . T_{\mathrm{first}}\approx T_{\mathrm{queue}}T_{\mathrm{vision}}T_{\mathrm{cache}}T_{\mathrm{prefill}}T_{\mathrm{handoff}}T_{\mathrm{decode,first}}.Tfirst≈TqueueTvisionTcacheTprefillThandoffTdecode,first.这是分析框架部分工作可以重叠不能直接把每项独立测量值相加当作真实延迟。它提示我们缩短Prefill算子时间如果同时增加了缓存等待或跨阶段排队用户未必更快拿到答案。官方生产说明给出Prefill采用较小EP/DP、Decode采用Wide-EP的配置思路当前部署说明称没有使用TP和CP而仓库能力列表同时包含balanced CP。框架能够支持什么与某个生产配置实际启用了什么必须分开读。三、DeepInfer的Wide-EP用通信组织换取专家计算效率MoE只激活一部分专家节约的是每Token参与的计算量。专家权重仍要放置Token仍要路由不同专家收到的负载也不会天然相同。一次生成步的完成时间很容易被最慢的设备拖住。Wide-EP把更多专家分散到更大的高速互连域内。公开设计中Decode推荐EP64至EP128其目标是减少每个设备在专家部分的权重访问压力并通过更合适的批量改善矩阵计算效率。代价是通信与负载均衡变成系统的一等约束。这组曲线应连同图中配置阅读。它支持在所测设置下比较EP8和EP64的吞吐用户速度关系不能被扩展成“卡数越多单位成本必然越低”。互连拓扑、专家热度、并发数量、冗余专家和负载迁移都会改变结果。EPLB通过统计专家负载、保留热门专家冗余副本、周期性重新分配专家降低最慢rank对整体的拖累。生产说明中Prefill与Decode使用不同的统计窗口和迁移周期因为两类负载的变化节奏不同。迁移太慢热点已经造成拥塞迁移太快复制权重本身又可能吞掉收益。另一层均衡发生在请求之间。Decode同时关注运行请求数和总KV长度前者影响批量后者影响注意力开销。同样是100个请求100个短历史与100个超长历史并不是同一种负载。只按请求数平均分配会隐藏真正的资源倾斜。对工程团队而言可迁移的知识是如何刻画负载而不是某个固定EP数字。它要求把计算、内存、互连和队列观测放在同一张时间线上。四、缓存的关键选择复用计算也复用存储系统的代价Agent经常重复携带任务说明、工具描述、仓库上下文和前几轮执行结果。KV Cache命中可以减少重复Prefill但长时间保留缓存并非免费它占用容量、需要索引和回收还要被及时送到实际执行的设备。DeepInfer的生产设计将block KV放在独立3FS存储集群将部分SWA状态保存在计算机器的主机内存。集中存储使Prefill机器能够命中任意前缀从而减少“为了命中缓存必须把请求送到某台忙机器”的冲突。计算扩缩容也不必同步销毁全部持久缓存。这种设计解决了一类路由问题同时引入了新的I/O问题。公开说明把命中匹配、拉取到共享内存、搬入HBM区分开匹配长度需要在路由前确定不能全部隐藏拉取和逐层传输则尽可能与计算重叠。实际收益应看命中后的端到端时间不能只统计缓存命中率。一个可用于容量规划的近似关系是C r e q u e s t ≈ ( 1 − h ) C p r e f i l l h C h i t C d e c o d e C s t o r a g e C o p e r a t i o n . C_{\mathrm{request}}\approx(1-h)C_{\mathrm{prefill}}hC_{\mathrm{hit}}C_{\mathrm{decode}}C_{\mathrm{storage}}C_{\mathrm{operation}}.Crequest≈(1−h)CprefillhChitCdecodeCstorageCoperation.这里h hh代表给定流量分布下的有效复用比例其他项是按请求分摊的成本不能直接代入Token命中率就声称得到了财务成本。模型表达的是判断方向保留更久带来的新增复用价值必须覆盖新增存储、传输和运维支出。官方生产说明报告Agent流量与聊天流量使用不同保留策略。这提醒我们TTL首先是业务历史再访问分布的问题。对从不重访的上下文长期留存不能凭空创造算力收益。五、SWA bounded replay的实质在明确条件下用近似恢复减少重算滑动窗口注意力只直接读取近期窗口但多层传播会扩大精确恢复时需要追溯的范围。V4.1的CED结构让部分decoder block KV可以由encoder最终隐藏状态投影得到Decoder的SWA状态仍需处理。官方说明中精确重建相关状态需要跨20个decoder层运行最近2560个Token而bounded replay采用更短的后缀重放。需要明确的一点是公开部署说明把重建结果称为近似SWA KV Cache。重放片段内的注意力范围被截断不能把它解释成对任意模型、任意历史都保持逐Token数值等价的通用技巧。Encoder侧在SWA状态缺失时复用已有block KV只重放命中前缀末端的一段来重建SWA状态。Decoder侧则利用结构特点减少Prefill阶段的重复计算重建状态用于Decode并不写回前缀缓存。两个位置的作用类似但数据流和写回策略不同。部署说明讨论128-token窗口README默认保留后缀配置为140并要求覆盖窗口和最大回退长度命中策略另有128加6的上限条件。这几个数字属于不同接口和约束不能互相替换更不能脱离版本写成一个万能参数。评估这项优化时应先固定模型、输入、精度、采样和缓存状态再比较质量回归与延迟。长依赖问答、边界附近信息、工具参数以及反复续写是比随手生成一句话更有价值的测试对象。降低重算开销与保持任务质量需要放在同一份实验里看。六、DSpark与异步调度减少等待需要知道等待来自哪里DSpark先产生草稿Token再由验证步骤决定可接受的推进范围。DeepInfer还使用置信度安排验证。它的收益取决于接受长度、验证成本、草稿开销及设备利用情况不能用“草稿长度5”推出五倍加速。草稿命中少或者验证成为瓶颈时收益会缩小。异步调度让CPU批次准备与设备执行重叠减少设备等待主机的空档。仓库使用“zero-overhead batch scheduler”的描述理解时应落在流水线重叠的设计目标上而不是声称现实服务所有调度成本都消失。批次不变与确定性采样则服务于另一个目标排除批次变化造成的输出差异。公开配置要求NVIDIA路径确定性采样还需要固定序列种子并关闭可变长MTP。它提醒我们可复现性和最大性能有时需要不同的运行组合。recipe补齐的是输入输出语义。它把Messages、Chat Completions、Responses等请求转成统一会话再做提示渲染、Token编码和响应解析。工具执行、HTTP传输和模型推理仍由调用方提供。其结构化约束转换也不意味着后端必然执行了约束解码需要与DeepInfer实际配置对齐。如果同样的请求在不同部署中出现行为差异应该同时核对模型权重、提示编码、推理开关和采样配置。仅比较模型名字会遗漏足以改变结果的条件。七、DeepInfer性能曲线与155万亿Token先对齐分母官方README说明两张曲线分别在4张SM100的Prefill设置和64张SM100的Decode设置下测量各自位于一个scale-up域并给出复现扫描脚本。因此不能把两张图的纵轴直接相加也不能在没有归一化的情况下与不同卡型、上下文长度和精度的服务比较。生产问答披露单集群每天服务约155万亿Token、按谷价计算整体收入约38美元/GPU小时。这是DeepSeek报告的生产运营数字。它没有给出足以在外部完整重建收入结构、GPU计费口径、缓存Token组成、资源折旧和所有运营成本的材料。收入/GPU小时既不是净利润也不是单卡脱离集群后可实现的推理能力。155万亿Token也不能被当作全部为新生成Token。只有在输入、输出、缓存和计价构成一致时这些数字才适合进入横向成本比较。Rocky更关心的业务指标是满足质量与延迟要求的成功任务数以及每个成功任务消耗的总资源。一次模型调用更便宜如果重试、工具错误或人工返工变多Agent项目的交付成本仍可能上升。八、落地DeepInfer要把验证顺序设计好已有集群的团队可以先用官方离线示例建立可复现基线再运行相同输入长度、缓存比例、输出预算和采样设置的扫描最后逐步接入自己的缓存、路由与对外服务。每加一层就测一次成功率、P50/P95延迟、设备空闲、通信与I/O而不是等所有组件接完才解释结果。小规模团队则应先确认资源规模是否适配。官方说明中的最小“可部署单元”与“高效推荐单元”有区别推荐Decode为EP64以上P/D整体资源配比又与流量有关。为了研究一个优化而直接复制大集群拓扑可能让实验预算失去控制。可以继续研究的方向包括缓存收益随业务重访间隔如何变化bounded replay误差如何随任务传播专家迁移如何与尾延迟共同优化以及多协议编码一致性怎样进入自动回归。它们都能形成明确的实验变量与可测量结果。DeepInfer公开了观察这些问题的一个具体实现。长期可积累的能力是理解一个请求如何消耗资源、一个优化如何改变误差和等待以及这些变化怎样影响最终交付。框架会迭代这套系统判断会继续发挥作用。推荐阅读1. 深入浅出完整解析AI AgentAI智能体的核心基础知识2025年可以说是AI Agent全面落地应用的元年因此Rocky在持续撰写对AI Agent的全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解同时不断跟进补充扩散模型的最新技术发展希望能给大家带来帮助深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识3. 入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识5. 深入浅出完整解析DeepSeek系列核心基础知识Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析深入浅出完整解析DeepSeek系列核心基础知识6. 深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识7. 深入浅出完整解析Stable Diffusion XLSDXL核心基础知识Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion XLSDXL核心基础知识8. 深入浅出完整解析Stable DiffusionSD核心基础知识Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析深入浅出完整解析Stable DiffusionSD核心基础知识9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析包括其在传统深度学习中的价值和在AIGC中的价值深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识10. 深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识对于AIGC时代中的“ResNet”——LoRA模型Rocky进行了深入浅出的全面讲解深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识11. 深入浅出完整解析ControlNet核心基础知识AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。ControlNet正是让AI图像创作社区无比繁荣的关键一环它让AIGC图像创作过程更加的可控更有助于广泛地将AIGC算法解决方案应用到各行各业中深入浅出完整解析ControlNet核心基础知识12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识AI绘画和AI视频是两个互相促进、相互交融的领域2024年无疑是AI视频领域的爆发之年Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识13. 深入浅出完整解析AIGC时代Transformer核心基础知识在AIGC时代中Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向成为AI技术架构大一统与多模态整合的关键核心基座大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析深入浅出完整解析AIGC时代Transformer核心基础知识14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识AIGC创作框架正是AIGC算法工作流的运行载体目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架到了AIGC时代Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识在AIGC时代中如何快速转身入局AIGC产业如何成为AIGC/LLM/AI Agent算法/开发工程师如何在学校中系统性学习AIGC/LLM/AI Agent知识斩获心仪的AIGC/LLM/AI Agent算法/开发offerDon‘t worryRocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍为大家答疑解惑希望能给大家带来帮助手把手教你成为AIGC/LLM/AI Agent算法/开发工程师斩获AIGC/LLM/AI Agent算法/开发offer16. AIGC产业的深度思考与分析2023年3月21日微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示自从1980年首次看到图形用户界面graphical user interface以来以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。Rocky也认为AIGC及其生态会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期未来随着AIGC的全面落地和深度商用会深刻改变我们的工作、生活、学习以及交流方式各行各业都将被重新定义过程会非常有趣。那么在此基础上我们该如何更好的审视AIGC的未来我们该如何更好地拥抱AIGC引领的革新Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点希望能帮助各位读者对AIGC有一个全面的了解深入浅出全面解析AIGC时代核心价值与发展趋势2025年版17. AI算法工程师的独孤九剑秘籍为了方便大家实习、校招以及社招的面试准备同时帮助大家提升扩展技术基本面Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍持续更新中18. 深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识GAN系列模型作为传统深度学习时代的最热门生成式Al模型在AIGC时代继续繁荣作为Stable Diffusion/FLUX系列大模型的“得力助手”广泛活跃于AlGC图像创作的产品与工作流中深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识
