第一卷大模型基础篇第3章 模型能力认知第10节多模态模型原理——为什么AI开始能看图、听音频、理解视频《Agent开发工程师成长指南》系列教程引言过去我们理解的大模型主要是一个“处理文字”的系统。你输入帮我分析一下这份合同模型输出文字。你问Transformer中的Attention是什么模型输出文字。你让模型写代码它还是通过文字理解你的需求再通过文字生成代码。所以很长一段时间里我们很容易产生一个误解大模型本质上就是一个特别强的文字处理器。但今天的AI已经开始发生一个非常重要的变化。你可以给它一张照片“这张图片里有什么”它能够描述图片。你可以上传一张网页截图“这个页面有什么UI问题”它能够分析界面。你可以上传一张Excel截图“帮我找出异常数据。”它能够读取表格。你甚至可以给它一段会议录音“总结一下这次会议讨论了什么。”或者给它一段视频“这个人在视频中做了什么”模型开始能够看、听、读、理解并进一步采取行动。这意味着AI正在从语言智能逐渐走向多模态智能。而这对于Agent尤其重要。因为现实世界本身就不是由文字组成的。工厂里有摄像头。办公室里有会议录音。手机里有照片。企业系统里有PDF、Excel、图表。机器人面对的是摄像头和传感器。如果Agent只能理解文字那么它实际上仍然生活在一个非常狭窄的“文本世界”里。真正能够进入现实世界的Agent需要具备更丰富的感知能力一、什么是多模态所谓“模态”可以简单理解成信息存在和表达的一种形式。例如文字 图片 音频 视频 代码 表格 传感器数据都可以看作不同的信息模态。最早的大模型主要处理Text → Text也就是文字输入 ↓ 语言模型 ↓ 文字输出而多模态模型希望解决的问题是Text Image Audio Video Document ↓ Multimodal Model ↓ Text / Image / Audio / Action例如场景一图片输入一张工厂设备照片模型可以回答图片中有一台工业设备 设备正面有一个控制面板 面板上存在红色报警指示灯。场景二音频输入一段会议录音模型可以理解A 我们下周必须完成系统测试。 B 但是目前还有两个严重Bug没有解决。 C 那就先冻结新需求。模型进一步总结会议结论 1. 下周完成系统测试 2. 优先解决两个严重Bug 3. 暂停新增需求场景三视频输入一段生产线视频模型可能理解00:01 工人进入生产区域 00:08 设备开始运行 00:15 设备出现异常停止 00:20 工作人员进行检查这时候模型已经不再只是“处理文字”。它开始处理现实世界中的复杂信息。二、但是图片不是Token模型到底怎么看图片这是理解多模态模型最关键的问题之一。我们知道大语言模型通常处理的是Token。例如今天天气很好可能会被转换成类似Token1 Token2 Token3 Token4然后进入Transformer。但是图片是什么例如一张1024 × 1024的图片。它本质上是一大堆像素。如果直接把每一个像素都当成一个Token1024 × 1024 ≈ 100万个像素计算量会非常大。所以多模态模型通常需要增加一个重要的过程把非文本信息转换成模型可以理解的表示。以图片为例可以简化理解成图片 ↓ 视觉编码器 ↓ 视觉特征 ↓ 视觉Token / Embedding ↓ 语言模型也就是说模型并不是像人类一样“直接看图片”而是先把图片转换成模型可以处理的内部表示。三、Vision Encoder到底做了什么这里需要引入一个重要角色Vision Encoder视觉编码器。它的作用可以简单理解成把图片转换成模型能够理解的特征表示。例如一张图片一只狗坐在草地上人类看到的是狗 草地 天空 树但模型最开始看到的是像素矩阵视觉编码器需要把这些像素逐渐转换成更加抽象的信息。可以粗略理解为像素 ↓ 边缘 ↓ 纹理 ↓ 局部形状 ↓ 物体 ↓ 空间关系 ↓ 语义特征最终形成Visual Representation例如[Dog] [Grass] [Person] [Outdoor] [Position] [Relationship]当然真实模型内部并不会简单地生成这样的文字标签。这是为了帮助我们理解视觉编码器负责把“像素世界”转换成“语义表示”。四、图片为什么能够和文字放在一起理解真正困难的问题来了。假设我们输入图片 一只狗站在草地上然后问这只狗在哪里模型必须把图片信息和文字问题联系起来。也就是说Image ↓ Visual Representation ↓ ┌──────────┐ Text ───────→│ │ │ Model │ │ │ └──────────┘ ↓ Answer这里真正重要的是不同模态的信息必须进入一个能够共同推理的表示空间。这就是多模态模型的核心问题之一跨模态对齐。五、什么叫“跨模态对齐”假设模型看到一张苹果的图片同时看到“苹果”模型需要逐渐学习Image ↕ Text“苹果”它们虽然表现形式完全不同图片 ≠ 文字但表达的是同一个概念所以训练过程需要让不同模态之间建立联系。可以简单理解成图片表示 ↓ ─────→ “苹果” ↑ 文字表示再复杂一点Image ↓ Vision Encoder ↓ Visual Representation ↘ Shared Representation ↗ Text Encoder / LLM ↑ Text最终图片中的“苹果”和文字中的“苹果”能够在模型内部建立联系。这就是Multimodal Alignment多模态对齐。六、多模态模型并不是简单地“加一个看图功能”这是一个非常重要的认识。很多人第一次接触多模态模型时会觉得“以前的大模型只会文字现在给它加一个图片解析器不就可以了吗”实际上远没有这么简单。因为模型需要解决至少三个问题第一步 如何理解不同模态 第二步 如何把不同模态的信息联系起来 第三步 如何让模型对这些信息进行统一推理因此多模态模型可以粗略理解成Multimodal Model │ ┌──────────────┼──────────────┐ ↓ ↓ ↓ Vision Audio Text Encoder Encoder Tokens │ │ │ └──────────────┼──────────────┘ ↓ Multimodal Fusion ↓ Transformer ↓ Reasoning / Output七、音频为什么也能被模型理解图片需要视觉编码器。那么音频呢音频本质上是随时间变化的声波信号模型不能直接像人类耳朵一样“听”。因此通常需要经过音频处理和编码过程。可以简化理解为声音 ↓ Waveform ↓ Audio Processing ↓ Audio Features ↓ Audio Encoder ↓ Audio Representation ↓ LLM / Multimodal Model例如“明天下午三点开会”音频首先需要被转换成模型可以理解的信息。一种典型路线是语音 ↓ Speech Encoder ↓ 语音特征 ↓ ASR / Speech Representation ↓ 文字或语义表示 ↓ LLM于是声音最终能够进入语言理解体系。这也是为什么今天的AI可以完成语音转文字会议总结语音问答说话人识别情绪或语气相关分析语音驱动Agent八、为什么视频比图片复杂得多图片只有一个空间维度Width × Height而视频增加了Time也就是Width × Height × Time例如视频 │ ├── Frame 1 ├── Frame 2 ├── Frame 3 ├── Frame 4 ├── ... └── Frame N所以最简单的理解方式是视频可以看成“连续变化的图片”。但如果只是简单地把每一帧都送给模型Frame 1 → Model Frame 2 → Model Frame 3 → Model ... Frame 10000 → Model计算量会非常大。所以视频模型通常需要考虑空间信息 时间信息也就是不仅要知道“画面里有什么”还要知道“事情是怎么发生的”。九、视频理解真正难在哪里举一个简单例子。视频一个人拿起杯子 ↓ 走到饮水机 ↓ 接水 ↓ 喝水 ↓ 放下杯子如果只看某一帧人 杯子我们无法知道完整过程。但视频理解需要得到拿起 → 移动 → 接水 → 喝水 → 放下也就是说视频理解不仅需要空间理解还需要时间理解。因此可以简单表示空间理解 “What is happening here?” 时间理解 “What happened before and after?” ↓ Video Understanding十、从“看懂图片”到“理解世界”多模态真正重要的地方并不是“AI现在可以识别一张图片了。”而是AI开始拥有了更加接近现实世界的感知入口。过去现实世界 ↓ 人类 ↓ 文字描述 ↓ LLM现在现实世界 ↓ ┌───────────────┐ │ Camera │ │ Microphone │ │ Document │ │ Screen │ │ Sensor │ └───────────────┘ ↓ Multimodal Model ↓ 理解 ↓ 推理 ↓ Agent ↓ Action这产生了一个非常重要的变化Agent不再必须依赖人类把现实世界翻译成文字之后才能理解。例如以前你告诉AI“机器旁边有一个红色报警灯。”AI才能处理。未来Agent可以直接Camera ↓ 看到红色报警灯 ↓ 理解异常 ↓ 查询设备状态 ↓ 调用MES / ERP / IoT API ↓ 创建维修工单 ↓ 通知工程师这已经非常接近真正的感知 → 理解 → 推理 → 行动闭环。十一、多模态与传统计算机视觉有什么区别这里还需要区分一个非常容易混淆的问题多模态模型是不是就是计算机视觉不是。传统计算机视觉通常针对非常明确的任务图片 ↓ 模型 ↓ 分类例如这是不是猫或者检测图片中的车辆输出Car Bounding Box Confidence这是非常典型的视觉任务。而多模态大模型更加关注把视觉信息和语言、知识、推理结合起来。例如图片 问题 “为什么这个设备可能存在安全风险”这已经不是简单的Object Detection而是Visual Understanding Knowledge Reasoning因此两者并不是互相替代的关系。更准确地说传统CV ↓ 视觉感知能力 多模态大模型 ↓ 视觉 语言 知识 推理在很多企业系统中两者甚至会共同存在。十二、多模态模型为什么特别适合Agent到这里我们可以把前面第3章的内容串起来。前面我们已经讨论了Context ↓ Memory ↓ Evaluation ↓ Tool Calling ↓ Planning ↓ Reasoning而多模态解决的是另外一个非常重要的问题Agent如何获得现实世界的信息于是Agent开始形成更加完整的结构┌──────────────┐ │ Multimodal │ │ Perception │ └──────┬───────┘ ↓ Agent State ↓ Reasoning ↓ Planning ↓ Tools ↓ Action ↓ Observation ↓ Multimodal Input │ └──────→ Agent Loop这意味着Agent不再只是Text → Text而逐渐变成Perception ↓ Reasoning ↓ Planning ↓ Action ↓ Observation ↓ Perception ↓ ...这就是我们之前所讲的Agent Loop。而多模态能力让这个Loop拥有了更丰富的“感知入口”。十三、一个真实的多模态Agent案例假设我们正在建设一个制造业设备巡检Agent。现场有摄像头。Agent首先接收到Camera Image模型识别设备控制面板发现红色报警灯亮起然后Agent进行下一步调用设备状态API得到设备状态 ALARM Error Code E1024Agent再调用企业知识库找到E1024 → 冷却系统异常然后调用维修系统创建维修工单最后通知设备工程师整个过程Camera ↓ Multimodal Model ↓ Visual Understanding ↓ Agent ↓ Tool Calling ↓ 设备API ↓ RAG ↓ Knowledge ↓ Planning ↓ 维修系统 ↓ Notification注意这里真正有价值的并不是单独的“看图能力”。而是多模态感知 大模型推理 RAG Tool Calling Agent。这才是多模态进入企业AI系统后的真正价值。十四、多模态并不意味着“模型什么都能直接理解”这一点非常重要。今天我们经常听到“这个模型支持图片。”但“支持图片”并不等于它对图片中的所有信息都具有同等可靠的理解能力。例如简单图片描述可能非常容易。但复杂工程图纸可能困难得多。再比如读取一张表格和理解表格中多个字段之间复杂的业务关系也不是同一个难度。视频更是如此识别视频中有什么与理解一个持续30分钟的复杂业务过程之间存在巨大差异。所以在工程实践中必须区分感知能力 理解能力 推理能力 任务能力它们不是一回事。十五、多模态模型的核心能力可以怎么理解可以把多模态模型的能力分成四层。第一层感知看见什么 听见什么 读取什么例如检测人物 识别文字 识别物体 识别语音第二层理解这些信息意味着什么例如这是一个设备控制面板。 红灯代表报警。第三层推理为什么会这样 接下来应该怎么办例如设备报警可能与冷却系统异常有关。第四层行动应该执行什么操作例如查询设备状态 → 查询知识库 → 创建维修工单因此感知 ↓ 理解 ↓ 推理 ↓ 行动恰好与Agent的核心闭环形成了连接。十六、多模态会不会改变未来的软件交互方式很可能会改变。传统软件交互主要是按钮 菜单 表单 输入框用户需要学习“系统应该怎么操作。”而AI Agent逐渐允许用户直接表达“帮我处理这个异常。”甚至拍一张照片或者把会议录音交给AIAgent自己完成理解 → 查询 → 分析 → 执行于是软件交互方式正在发生变化传统软件 人 ↓ 学习UI ↓ 点击 ↓ 填写 ↓ 提交 ↓ 系统执行逐渐走向Agent软件 人 ↓ 表达目标 ↓ Agent理解 ↓ Agent规划 ↓ Agent调用工具 ↓ 完成任务而多模态进一步把输入从文字扩展到了文字 图片 声音 视频 屏幕 文档 传感器所以未来的Agent入口可能不再只是一个Chat输入框。十七、这对Agent开发工程师意味着什么这是本节最重要的工程结论。如果你是一名Agent开发工程师不需要一开始就去研究“如何从零训练一个视觉大模型。”你的第一任务是理解多模态能力如何成为Agent的一种输入能力。例如用户 ↓ 图片 ↓ Multimodal LLM ↓ 结构化理解 ↓ Agent ↓ Tool ↓ 业务系统你需要关注的是1. 输入Image Audio Video Document2. 模型Multimodal LLM3. 上下文如何把多模态信息加入Context4. 推理模型如何根据视觉/音频信息做判断5. Tool模型判断之后调用什么工具6. Evaluation模型看错了怎么办7. Security图片和音频中是否包含敏感信息这才是Agent工程师真正需要掌握的多模态能力。十八、从这一章看懂Agent的完整能力体系现在回头看第3章我们实际上已经完成了一条非常重要的知识链。Context ↓ Agent能看到什么 Memory ↓ Agent能记住什么 Hallucination ↓ Agent可能犯什么错误 Randomness ↓ 为什么Agent每次结果可能不同 Evaluation ↓ 如何判断Agent做得好不好 Tool Calling ↓ Agent如何操作外部系统 Planning ↓ Agent如何完成复杂任务 Reasoning Model ↓ Agent如何处理复杂推理 Multimodal ↓ Agent如何感知现实世界最终汇聚成Agent │ ┌───────────┼───────────┐ ↓ ↓ ↓ Perception Reasoning Memory │ │ │ │ ↓ │ │ Planning │ │ │ │ └───────────┼───────────┘ ↓ Tool ↓ Action ↓ External World ↓ Observation ↓ Agent这也是为什么多模态并不是一个孤立的“大模型新功能”而是Agent感知现实世界的重要基础能力。十九、从大模型到Agent我们到底走了多远第一章我们讨论了Agent为什么可能成为下一代软件形态第二章我们拆解了GPT Transformer Attention Token Embedding Position Encoding Scaling Law Emergence我们开始理解大模型为什么能够处理语言。第三章我们进一步理解Context Memory Hallucination Randomness Evaluation Tool Calling Planning Reasoning Multimodal我们开始理解一个模型为什么能够逐渐成为Agent的大脑。所以到这里整个第一卷真正完成的是一次认知升级传统软件工程师 ↓ 理解大模型 ↓ 理解模型能力边界 ↓ 理解Agent基本机制 ↓ 理解Agent为什么能够感知、思考、记忆、调用工具 ↓ 准备进入AI应用开发下一步就要解决一个非常实际的问题既然模型能力这么强我们到底应该如何稳定地控制它答案就是Prompt。面试题1. 什么是多模态模型答多模态模型是能够处理两种或以上不同信息模态并建立这些模态之间语义关联的模型例如同时理解文字、图片、音频、视频等信息。2. 图片是如何进入大语言模型的答通常需要通过视觉编码器将图片从像素空间转换成视觉特征或视觉Token再与文本等信息进行融合使后续模型能够对不同模态的信息进行统一理解和推理。3. 什么是跨模态对齐答跨模态对齐是让不同模态表达的信息建立语义对应关系例如让一张“苹果”的图片与文字“苹果”在模型内部形成关联。4. 为什么视频理解比图片理解复杂答因为视频除了包含空间信息还包含时间维度。模型不仅需要理解某一帧中有什么还需要理解不同时间帧之间发生了什么变化以及事件之间的关系。5. 多模态模型和传统计算机视觉有什么区别答传统计算机视觉通常针对分类、检测、分割等特定视觉任务而多模态大模型进一步把视觉信息与语言、知识和推理能力结合起来可以处理更加开放的理解和推理任务。6. 多模态为什么对Agent重要答因为Agent需要感知现实世界。多模态能力可以让Agent从图片、音频、视频、文档、屏幕和其他信息源获得输入从而形成更加完整的“感知 → 理解 → 推理 → 行动”闭环。7. 多模态模型是不是意味着Agent已经真正理解了现实世界不应该简单这样理解。多模态模型提供了更加丰富的感知和理解能力但感知 ≠ 完全理解 理解 ≠ 正确推理 正确推理 ≠ 可靠执行因此真正的企业级Agent仍然需要Multimodal Context Memory Reasoning Planning Tool Evaluation Security本节小结这一节我们回答了一个核心问题为什么AI开始能看图、听音频、理解视频核心可以归纳为图片 ↓ Vision Encoder ↓ Visual Representation ↓ Multimodal Fusion ↓ Transformer音频Audio ↓ Audio Encoder ↓ Audio Representation ↓ Multimodal Model视频Frames ↓ Visual Information Temporal Information ↓ Video Understanding而多模态模型真正重要的地方并不是简单增加了“AI看图片”的功能。而是它正在帮助Agent获得感知现实世界的能力。最终多模态感知 ↓ 理解 ↓ 推理 ↓ 规划 ↓ 工具调用 ↓ 执行 ↓ 观察结果 ↓ 再次感知这才是多模态能力与Agent结合之后真正的意义。第一卷到这里完成了什么到第3章结束我们已经从AI是什么走到了大模型是什么再走到了模型能够做什么最终理解Agent为什么可能完成复杂任务这意味着第一卷“大模型基础与Agent认知篇”完成了基础认知阶段。接下来我们正式进入第二卷。下一篇预告第二卷Prompt工程篇第4章 第1节Prompt是什么——为什么Prompt是控制大模型行为的第一入口前面我们已经知道大模型 ↓ 具有强大的理解、推理、生成能力但一个新的问题出现了如果同一个模型面对不同指令会产生完全不同的行为那么开发工程师究竟应该如何控制它这就进入了Agent开发中最基础、也是最容易被低估的一项能力Prompt Engineering下一章我们将从最基本的问题开始Prompt到底是什么并逐步回答为什么Prompt能够影响模型行为 System Prompt和User Prompt有什么区别 Prompt到底应该包含哪些内容 为什么好的Prompt越来越像程序 Prompt为什么最终会成为Agent的“行为控制层”
