写在前面欢迎大家关注Rocky的知乎Rocky Ding《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book欢迎大家StarRocky最新撰写的10万字AI AgentAI智能体深入浅出全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识欢迎大家加入https://t.zsxq.com/33pJ0大家好我是Rocky。核心导读理解 VLM先看监督目标与输出空间同样输入一张图片和一句话不同视觉语言模型可能返回完全不同的东西一个相似度、一段解释、若干坐标或者一张像素掩码。这些输出并非产品界面上的小差异它们决定了模型需要保留什么信息、训练时接受什么监督以及最后能进入哪一种业务流程。CLIP、BLIP、Flamingo、BLIP-2、LLaVA、InternVL、Qwen-VL、Qwen2.5-VL、Qwen3-VL、Qwen3-VL-Seg、LocateAnything、Grounding DINO 和 SAM 3共同构成了一条重要的技术演进脉络。但如果仅把它们按时间排成名单或严格分成“生成式”和“判别式”两列就容易混淆基础表征、语言生成与空间预测之间的关系。Rocky认为VLM 的核心进展是让语言语义越来越直接地约束视觉证据同时让视觉证据以更精细的形式进入推理与执行。学习这些模型应当反复追问三个问题训练目标在奖励什么视觉与语言在哪里交互输出是否达到任务所需要的空间精度。这里讨论初代论文或明确命名的模型版本。一个系列后续加入的新组件不能倒推成初代模型的设计参数规模、推理配置和评测条件不同也不能直接用分数排列“技术先进性”。一、用三条轴重新理解这 13 个模型第一条轴是训练目标。图文对比学习奖励匹配样本在表示空间中接近语言生成训练奖励正确答案 token 的概率检测和分割训练则直接约束对象位置、类别或区域范围。一个模型可以同时接受多种目标因此这些类别并不互斥。第二条轴是交互位置。图像和文本可以分别编码后只比较最终向量也可以通过查询压缩、跨层交叉注意力、前缀 token 或多层特征注入进行融合。交互方式决定了模型如何利用细节也决定了计算成本与信息瓶颈。第三条轴是输出表示。自然语言适合表达开放语义坐标适合定位像素掩码适合边界选择视频轨迹还需要跨帧关联。它们之间可以连接但不能简单等同。图 1本文建立的架构坐标系。CLIP 是对比学习双编码器BLIP 同时包含理解与生成目标Qwen3-VL-Seg 和 LocateAnything 则说明语言模型路线也可以专门优化空间输出。模型核心交互或训练设计主要研究问题CLIP双编码器与图文对比学习如何用自然语言监督获得可迁移视觉表征BLIPMED、多目标训练与 CapFilt如何联合理解、生成并改善图文数据FlamingoPerceiver Resampler 与门控交叉注意力如何连接冻结模型并支持交错图文少样本学习BLIP-2Q-Former 与两阶段预训练如何用少量查询桥接冻结视觉和语言模型LLaVA视觉投影与视觉指令微调如何让已有视觉表征服务开放对话指令InternVL大视觉骨干、QLLaMA 与渐进对齐视觉侧容量与语言侧能力怎样共同扩展Qwen-VL位置感知适配器与多任务训练如何支持 OCR、定位和多图理解Qwen2.5-VL动态分辨率、窗口注意力与绝对时间编码如何处理文档细节和不同帧率的视频Qwen3-VLDeepStack、交错 MRoPE 与文本时间戳如何改善多层视觉融合和长上下文理解Qwen3-VL-Seg框引导的轻量掩码解码如何把语言定位能力扩展为像素分割LocateAnything框块并行解码与定位数据训练如何提高密集结构化定位的生成效率Grounding DINO文本条件查询与多阶段跨模态融合如何进行开放词汇目标检测SAM 3概念提示、检测器与跟踪器如何统一概念分割与视频中的实例传播二、CLIP 与 BLIP先建立对齐再处理数据质量1. CLIP相似度接口打开了开放词表迁移CLIP 将图像与文本分别送入编码器再投影到共同空间。训练时一个 batch 的图像与文本形成两两相似度矩阵真实配对是正例其他配对构成对比候选。优化同时包含图到文和文到图两个方向。令归一化图像向量为v i v_ivi文本向量为t j t_jtj温度为τ \tauτ图到文方向可以写成L I → T − 1 N ∑ i 1 N log exp ( v i ⊤ t i / τ ) ∑ j 1 N exp ( v i ⊤ t j / τ ) . \mathcal L_{I\to T}-\frac{1}{N}\sum_{i1}^{N}\log\frac{\exp(v_i^\top t_i/\tau)}{\sum_{j1}^{N}\exp(v_i^\top t_j/\tau)}.LI→T−N1i1∑Nlog∑j1Nexp(vi⊤tj/τ)exp(vi⊤ti/τ).对称项将图文角色交换。推理时可以把候选类别写成文本提示比较图像向量与这些文本向量的相似度也可以建立向量索引进行图文检索。候选集合在一次推理中是有限的但它不必固定为训练时的标签集合这正是开放词表迁移的意义。CLIP 本身不自回归生成答案所以不能直接归为生成式 VLM。官方实现的文本上下文长度为 77包含特殊 token不宜把这个值写成不带说明的 76。其互联网图文监督降低了对固定类别人工标签的依赖却不意味着训练过程完全没有人类贡献的数据或人工整理。全局向量相似度也不是逐区域证据约束。模型能够判断一张图与“桌上有红杯子”较匹配未必能可靠输出杯子的边界、准确计数或区分复杂关系。因此CLIP 是很有价值的表征基础却不能用检索能力代替精细空间理解。2. BLIP数据生成与过滤进入训练闭环BLIP 的 MED 架构在单模态编码、图像条件文本编码和图像条件文本解码之间切换联合使用图文对比、图文匹配与语言建模目标。对比目标建立整体对齐匹配目标进一步判断图文是否对应生成目标学习根据视觉信息写出文本。CapFilt 则针对互联网文本与图片不完全匹配的问题captioner 生成候选描述filter 检查原有文本与合成文本留下更有用的图文对再用改善后的数据训练模型。生成与过滤模块承担不同职责有助于控制噪声和描述覆盖。这一思路对今天仍然有启发训练数据的质量取决于监督是否覆盖真实视觉内容而不仅是文本是否通顺。合成描述可以补充信息也可能引入对象、数量或属性幻觉。过滤器必须在独立样本上评估不能把自动筛选后的数据直接称为无噪声真值。三、Flamingo、BLIP-2 与 LLaVA桥接设计和数据范式相互影响图 2代表性跨模态交互方式。查询压缩、跨层注入和输入投影解决不同问题连接器的复杂程度不能单独决定最终性能。3. Flamingo让冻结模型学会读交错图文上下文Flamingo 使用冻结视觉编码器与冻结语言模型中间通过 Perceiver Resampler 将可变长度视觉特征变为固定数量的视觉 token再在语言模型层间插入可训练的门控交叉注意力模块。门控从较温和的状态开始让新视觉路径逐步进入已有语言计算。其关键不仅是“冻结两个大模型”还包括训练数据的交错形式。网页中的图像与文本具有连续上下文关系模型通过这类序列学习在推理时利用给定示例。一个用户可以在提示中先给出若干图像与答案再提供新图像完成不更新权重的少样本适配。固定视觉 token 数量降低了跨模态交互开销也形成压缩瓶颈。交错示例越多输入和注意力开销仍会上升。视觉冻结又限制了针对新任务重塑底层特征的空间。因此Flamingo 证明了强模块复用与交错训练的可行性不能概括成“冻结模型就不丢细节、成本恒定”。4. BLIP-2Q-Former 先学提取再学交给语言模型BLIP-2 同样复用冻结视觉编码器和冻结大语言模型但将主要桥接工作交给 Q-Former。可学习查询通过交叉注意力读取图像特征再输出紧凑的视觉表示。两阶段预训练对应两种适配第一阶段让查询表征在图文对比、匹配与图像条件生成中学习提取有语言意义的信息第二阶段把这些查询投影为语言模型可以消费的视觉前缀训练视觉到语言的生成路径。查询压缩是一种任务相关的信息选择机制。它避免让全部图像 patch 都进入语言模型却也可能在密集 OCR、多个小目标或高空间精度任务中成为瓶颈。不能仅依据桥接参数少就推导完整推理服务一定比另一种架构更快视觉编码、语言解码、输入长度和 batch 配置都需要共同计量。5. LLaVA视觉指令数据决定模型怎样使用图像初代 LLaVA 将 CLIP ViT 的视觉网格特征经过线性投影接入 Vicuna。第一阶段冻结视觉与语言模型训练投影以完成特征对齐第二阶段保持视觉编码器冻结更新连接层与语言模型学习视觉指令响应。它利用图像描述和目标框等符号信息让纯文本 GPT-4 合成对话、细节描述与复杂推理指令。这里并不是 GPT-4 在该数据构建流程中直接看图而是依据已有图像标注生成训练问题与回答。标注能覆盖什么便会影响合成指令能够可靠表达什么。LLaVA 的意义在于展示了视觉指令微调的价值已有视觉表示与语言能力结合后还需要教会模型如何响应用户的视觉意图。简单连接器为数据迭代提供了清晰的实验基础。不过“线性层足够取得有效结果”不意味着线性连接在所有任务中都最优也不意味着后续版本都沿用初代配置。四、InternVL视觉侧容量成为独立研究变量6. InternVL不要只扩展语言模型初代 InternVL 将视觉骨干扩展为 InternViT-6B并通过从语言模型初始化的 QLLaMA 中间件逐步对齐视觉与语言。其训练先建立大规模图文对比表征再引入生成式对齐最终接入语言解码器进行多模态指令学习。这一选择把一个问题摆到台面上当语言模型越来越强时视觉编码器是否已经成为感知瓶颈如果文本解码器只看到了缺少小字、局部关系或细粒度属性的特征继续增加语言推理未必能恢复已经丢失的信息。但视觉模型变大也会增加图像编码的计算、显存和训练门槛。对于高频在线任务视觉编码成本可能占据相当比例。初代 InternVL 的组件与后续 InternVL 系列的动态高分辨率、连接方式和训练策略不能混写应根据具体版本确认。更可迁移的结论是多模态系统至少存在视觉表征、跨模态接口和语言计算三个容量瓶颈。评估扩展方向时可以固定其他部分观察增加视觉分辨率、视觉容量或语言容量分别改善了哪些错误而不是默认大语言模型规模就是唯一决定因素。五、Qwen-VL 三代从细节感知到长时间跨度7. Qwen-VL空间信息进入适配器与训练任务初代 Qwen-VL 使用位置感知的视觉语言适配器通过可学习查询与交叉注意力压缩视觉特征并保留二维位置信息。训练采用图文预训练、多任务预训练与指令微调逐步加入 OCR、定位、视觉问答和多图交互。与只要求生成整体描述相比OCR 和定位监督要求模型关注更局部的视觉证据。较高输入分辨率能够保留更多细节位置编码与框输出则为“语言提到的对象究竟在哪里”提供了学习路径。这仍然受到缩放和查询压缩的限制。一张报表如果被缩小到无法辨认小数点文本模型可能给出合理但错误的数值。工程中应区分视觉采样不足与推理错误必要时采用区域裁剪、重新读取或专门的文档流水线而不是仅增加回答长度。8. Qwen2.5-VL动态分辨率与绝对时间各解决一类失真Qwen2.5-VL 的视觉编码器处理动态分辨率使用窗口注意力降低大部分视觉层的计算开销同时保留少量全局注意力层。对于固定窗口大小局部注意力部分随 patch 数量近似线性增长由于仍有全局层不能把整个模型复杂度都写成线性。动态分辨率让模型根据输入形状与像素预算保留更合适的视觉信息减少统一方形裁剪对文档和极端宽高比图像的破坏。但“原生动态分辨率”不等于无限制处理原始像素推理时仍需明确 min/max pixels、视觉 token 数和显存预算。视频的另一个问题是时间。相同的帧序号在不同采样率下对应不同物理时间。Qwen2.5-VL 将 MRoPE 时间分量与绝对时间对齐并用动态 FPS 训练使模型更好地区分事件顺序、时长和发生位置。它改善了时间表示仍不能弥补没有采到的瞬间事件。因此视频评测应同时记录采样帧率、总帧数、输入 token 数、是否提供字幕和定位误差。只说“支持一小时视频”不足以说明模型是否能找出某个只出现几帧的小动作。9. Qwen3-VL多层视觉融合与更明确的时间接口Qwen3-VL 进一步引入 DeepStack将视觉编码器多个层级的特征注入语言模型的较早层以利用不同抽象层次的视觉信息交错 MRoPE 更均衡地分配时间与空间维度的频率视频输入还通过显式文本时间戳建立更直接的事件时间关联。这些变化各自对应一个信息问题只取最后一层可能损失局部细节位置维度分配影响长序列建模而帧序号与真实时间之间需要稳定联系。它们并不自动保证模型在所有分辨率、全部长度和每个空间任务上都可靠。官方将 256K 列为原生上下文并给出使用 YaRN 向 1M 扩展的配置。因此原生 256K、外推到 1M以及能否在长视频里稳定检索特定事件是三个不同问题。不能用“超长视频依赖外推”否认原生 256K也不能用配置文件允许的长度证明所有长上下文任务已经通过验证。同样Thinking 与非 Thinking 版本、稠密与 MoE 版本、不同规模和量化方式应独立评估。没有任务、版本和运行条件支撑的“量化后格式全部崩溃”“中文文档落后一倍”等结论不适合当成系列模型的统一能力描述。六、Grounding DINO 与 SAM 3让语言直接选择空间对象图 3同一目标可以用语言、框或掩码表达。视觉任务需要什么输出就应采用相应监督和验收指标从位置预测到执行动作还需要额外的坐标映射与状态验证。10. Grounding DINO文本条件进入检测的多个环节Grounding DINO 将 DINO 检测器与语言监督结合在特征增强、语言引导查询选择和跨模态解码等阶段融入文本信息。给定类别或短语模型在图像中产生相应目标框而不是仅从固定训练类别中分类。这里的语言作用主要是指定检测对象。它不需要先写一段长答案再解析坐标因此天然契合批量框预测。官方报告的 COCO 零样本 52.5 AP 对应其特定模型与评测设置不能直接与任意 VLM 的 RefCOCO 准确率比较两个指标衡量的任务并不相同。开放词汇也不意味着无限语义可靠。复杂关系表达、罕见对象、遮挡和同类密集目标仍可能导致漏检或选错对象。将 Grounding DINO 接到分割模型后要分别检查检测框是否选对对象、分割头是否恢复正确边界避免只看最终可视化。11. SAM 3概念级分割与视频实例传播SAM 3 把文本概念、视觉示例和几何提示纳入可提示分割能够检测、分割并跟踪指定概念的实例。它包含共享视觉编码器的检测器与跟踪器检测器以文本、几何和图像示例为条件跟踪器延续 SAM 2 风格的编码解码与视频传播能力。相较于围绕一个给定点或框恢复掩码概念提示需要模型先识别有哪些实例属于目标再为这些实例恢复像素区域。presence token 用于改善概念是否出现及相关判别检测与跟踪解耦则有助于减少任务干扰。分析时应区分单图和视频路径。静态图像概念分割并不需要完整的跨帧记忆链路不能把视频 memory bank 的全部流程机械套入每一次图像推理。反过来单帧掩码质量高也不能保证视频中长期遮挡、目标再出现或身份保持都正确。SAM 3 提供的是强空间预测接口。遇到“找出能用来完成某种复杂目的的物体”这类依赖长链语义的指令时仍应检验概念分割与专门指令式 VLM 的差异而不能因为两者都支持文本输入就认定功能等价。七、Qwen3-VL-Seg 与 LocateAnything语言模型开始适应空间输出12. Qwen3-VL-Seg把框变成掩码解码的先验Qwen3-VL-Seg 利用 MLLM 已有的框定位能力将预测框作为结构先验结合指令语义与视觉特征生成掩码。新增的 Box-Guided Mask Decoder 约 17M 参数约占所用 4B 基座的 0.4%包括多尺度特征注入、空间语义查询、框引导高分辨率融合和迭代掩码细化。其高分辨率路径还利用浅层 CNN 细节因此“不依赖外部 SAM”不等于“不增加任何图像处理分支”。准确的理解是它避免耦合一个额外的大型分割基础模型用相对轻量的组件复用 MLLM 定位与表征。数据上SA1B-ORS 将 SA-1B 的无语言掩码转为两类监督类别导向的 SA1B-CoRS 约 105 万条描述导向的 SA1B-DeRS 约 194 万条。前者可包含同类多个实例后者强调通过属性与关系选中特定实例。它们对应不同语言表达要求不能仅用总量概括数据价值。训练先强化分割相关能力再混入通用多模态数据恢复能力平衡。因为框参与掩码解码评估应同时测试真实预测框和理想框观察错误究竟来自对象选择还是边界恢复。小目标、无目标、相邻同类实例和域外图像也应单独检查。13. LocateAnything以框为单位提高生成效率通用语言模型若用多个文本 token 表示每个坐标密集场景中的定位会产生很长输出。LocateAnything 将空间结果组织成结构化 block通过 Parallel Box Decoding 并行预测一个框块的内容联合训练 next-token prediction 与 multi-token prediction。官方 3B 版本使用 MoonViT 视觉编码器、Qwen2.5-3B-Instruct 语言模型和 MLP 投影。训练数据规模为约 1,200 万图像、1.38 亿以上查询与 7.85 亿框覆盖多种视觉定位任务。这些是图像、查询、框三个层级的计数不能相加为“训练样本总数”。推理支持 Slow、Fast 与 HybridSlow 按自回归方式生成Fast 使用并行块预测Hybrid 在检测到格式异常或空间歧义时回退到自回归。这里的研究问题是如何在结构化输出的效率与可靠性之间切换平均吞吐提高并不意味着每个困难样本都获得同样加速。官方效率口径使用单张 H100、batch size 1 的 boxes per second。评估时还需记录每图对象数、回退比例、漏检和误检更多框并不天然代表更好的检测。当前公开权重采用 NVIDIA 的非商业研究许可不能因为可下载就假设可以直接用于商业服务。八、这些路线为什么会接近又为什么不会完全合并语言生成路线提供了强开放语义和指令理解但细粒度边界与密集输出需要额外设计。检测分割路线擅长结构化空间预测却需要更好的语言接口来处理复杂指代。Qwen3-VL-Seg 与 LocateAnything 正是在输出端补足语言模型路线的空间能力Grounding DINO 与 SAM 3 则在空间模型中加强语言条件。它们的接近不意味着所有任务最终都应由同一张计算图处理。固定目标检测、实时工业相机、高精度图像编辑和长视频问答对延迟、输出密度和错误类型的要求不同。一个成熟产品可能使用通用 VLM 理解请求再通过专门空间模块完成定位或分割也可能在单个模型中联合学习这些能力。更关键的是监督是否真正作用于共享表征。如果分割头只调用完全独立的外部编码器掩码质量提升未必会改善语言模型的细粒度感知如果像素监督直接进入共享视觉特征则有可能改变问答与推理所使用的证据。两种设计都可以成立但需要相应消融实验区分收益来源。九、如何为真实任务选择 VLM先定义输出再选择候选模型。图文检索主要关心向量空间与召回文档问答需要小字读取、版面和结构GUI 操作需要精确坐标以及动作后状态交互式图像编辑需要可靠目标选择与像素边界视频任务还要考虑采样、时间定位与实例一致性。评测时至少固定输入像素预算、提示格式、模型版本、精度、推理长度和硬件。对定位模型还要固定坐标协议归一化到 0—1000、原图像素坐标、缩放后像素坐标是不同表示。坐标解释错误会把一个正常预测变成严重偏移不能将接口错误误判为模型能力不足。指标也要与任务匹配。分类与检索使用准确率、RecallK 等生成问答关注答案正确性与证据支持检测关注精确率、召回率及 IoU 阈值掩码分割需要看区域重合与边界交互系统最终应测量闭环完成率而不只检查第一次点击的位置。错误分析应沿链路进行是否看到了足够像素是否选对目标是否生成了正确结构后处理是否解释正确执行后是否达到目标。这样才能知道该提高分辨率、补充数据、改变输出头还是修复工具接口。十、值得持续投入的研究问题一是视觉 token 的分配。对整页文档均匀提高分辨率可能大量计算落在空白处任务相关裁剪和自适应采样可以提高效率但又可能漏掉初始阶段没有被注意到的证据。如何用可验证的策略分配视觉计算仍有很大空间。二是语言语义与空间粒度的协同。类别、属性、关系、功能性描述对应不同的目标选择方式。训练集中“所有杯子”和“左边那个装水的杯子”需要不同的实例监督否则模型可能语义听懂了输出目标集合却不正确。三是结构化输出与通用能力的平衡。定位和分割适配可能改善空间任务也可能影响 OCR、知识问答或推理。应同时报告专用能力增益与通用能力变化并研究数据配比、共享层和训练阶段的影响。Rocky认为VLM 的跨周期能力是把语言意图与可验证视觉证据联系起来。从 CLIP 的相似度到 LLaVA 的视觉指令再到框、掩码和视频轨迹输出正在变得越来越具体。研究者需要解释监督如何塑造表征工程师需要证明输出如何进入可靠流程这比记住一份不断增长的模型名单更有价值。推荐阅读1. 深入浅出完整解析AI AgentAI智能体的核心基础知识2025年可以说是AI Agent全面落地应用的元年因此Rocky在持续撰写对AI Agent的全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解同时不断跟进补充扩散模型的最新技术发展希望能给大家带来帮助深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识3. 入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识5. 深入浅出完整解析DeepSeek系列核心基础知识Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析深入浅出完整解析DeepSeek系列核心基础知识6. 深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识7. 深入浅出完整解析Stable Diffusion XLSDXL核心基础知识Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion XLSDXL核心基础知识8. 深入浅出完整解析Stable DiffusionSD核心基础知识Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析深入浅出完整解析Stable DiffusionSD核心基础知识9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析包括其在传统深度学习中的价值和在AIGC中的价值深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识10. 深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识对于AIGC时代中的“ResNet”——LoRA模型Rocky进行了深入浅出的全面讲解深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识11. 深入浅出完整解析ControlNet核心基础知识AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。ControlNet正是让AI图像创作社区无比繁荣的关键一环它让AIGC图像创作过程更加的可控更有助于广泛地将AIGC算法解决方案应用到各行各业中深入浅出完整解析ControlNet核心基础知识12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识AI绘画和AI视频是两个互相促进、相互交融的领域2024年无疑是AI视频领域的爆发之年Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识13. 深入浅出完整解析AIGC时代Transformer核心基础知识在AIGC时代中Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向成为AI技术架构大一统与多模态整合的关键核心基座大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析深入浅出完整解析AIGC时代Transformer核心基础知识14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识AIGC创作框架正是AIGC算法工作流的运行载体目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架到了AIGC时代Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识在AIGC时代中如何快速转身入局AIGC产业如何成为AIGC/LLM/AI Agent算法/开发工程师如何在学校中系统性学习AIGC/LLM/AI Agent知识斩获心仪的AIGC/LLM/AI Agent算法/开发offerDon‘t worryRocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍为大家答疑解惑希望能给大家带来帮助手把手教你成为AIGC/LLM/AI Agent算法/开发工程师斩获AIGC/LLM/AI Agent算法/开发offer16. AIGC产业的深度思考与分析2023年3月21日微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示自从1980年首次看到图形用户界面graphical user interface以来以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。Rocky也认为AIGC及其生态会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期未来随着AIGC的全面落地和深度商用会深刻改变我们的工作、生活、学习以及交流方式各行各业都将被重新定义过程会非常有趣。那么在此基础上我们该如何更好的审视AIGC的未来我们该如何更好地拥抱AIGC引领的革新Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点希望能帮助各位读者对AIGC有一个全面的了解深入浅出全面解析AIGC时代核心价值与发展趋势2025年版17. AI算法工程师的独孤九剑秘籍为了方便大家实习、校招以及社招的面试准备同时帮助大家提升扩展技术基本面Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍持续更新中18. 深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识GAN系列模型作为传统深度学习时代的最热门生成式Al模型在AIGC时代继续繁荣作为Stable Diffusion/FLUX系列大模型的“得力助手”广泛活跃于AlGC图像创作的产品与工作流中深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识
