文章目录一、课程核心思想二、重点知识点2.1 什么是 Image Understanding2.2 Images as Context图片作为上下文2.3 Visual Question Answering视觉问答2.4 OCROptical Character Recognition2.5 Visual Reasoning视觉推理三、老师的实际案例3.1 案例一白板照片与卷积神经网络3.2 案例二健身房器械识别3.3 案例三收据识别与费用计算3.4 案例四手写文字识别3.5 案例五多张图片整理头脑风暴结果四、如何写出更好的 Image Understanding Prompt4.1 普通 Prompt4.2 改进后的 Prompt4.3 为什么第二个 Prompt 更好五、Image Understanding 的局限性5.1 Fine-grained Recognition细粒度识别5.2 Occlusion遮挡5.3 Low Image Quality低图像质量5.4 Visual Hallucination视觉幻觉六、重要英文术语七、实践练习八、复习问题九、一页速记版Quick Review参考资源课程 SlidesThe AI Novice and the AI Power User如何成为 AI 高阶用户Pretrained KnowledgeAI 已经掌握哪些知识Web Search如何获取外部信息Web Search Sources如何选择和验证信息来源Using Deep Research如何开展复杂研究Lab Overview如何通过实验比较不同 AI 使用方式Brainstorming with AI使用 AI 进行头脑风暴Context上下文AI Desktop AppsAI 桌面应用Reasoning with AIAI 推理Sycophancy谄媚Writing with AI用 AI 写作AI CritiqueAI 评价与批判性反馈Lab Overview: Brainstorming and Critique实验介绍AI 头脑风暴与批判性评价Working with Multimedia Data处理多媒体数据一、课程核心思想上一节 P15 介绍了 Working with Multimedia Data处理多媒体数据。我们已经知道现代 AI 不仅能够处理文字还能够处理Image图像Audio音频Video视频Text文本其中图像是一种非常重要的信息来源。在日常生活和工作中很多问题很难仅通过文字完整描述。例如一张复杂的数据图表。一份手写笔记。一个软件界面截图。一张设备故障照片。一张包含大量文字和图形的流程图。如果只能通过文字向 AI 提问用户可能需要花费大量时间描述图片中的细节。但具备视觉能力的 AI 可以直接接收图片并根据图像内容回答问题。因此本节重点介绍Image Understanding图像理解。核心结论Image Understanding 让 AI 能够将图片作为 Context直接分析视觉信息。用户不仅可以要求 AI 描述图片还可以结合具体任务让 AI 对图片中的内容进行解释、比较和推理。二、重点知识点2.1 什么是 Image UnderstandingImage Understanding图像理解 指 AI 对图片中的视觉信息进行识别、解释和分析的能力。例如用户上传一张图片然后提问What is happening in this image?AI 可以尝试识别图片中的物体。场景与环境。可见文字。物体之间的关系。画面中的活动。可能与任务相关的细节。Image Recognition vs. Image Understanding这两个概念相关但不完全相同。Image Recognition图像识别 更侧重于识别图片中有什么。例如Identify the objects in this image.Image Understanding图像理解 则进一步分析图片中的信息及其关系。例如Analyze the image. Identify the main objects, explain their relationships, and describe what is happening.两种能力的区别对比维度Image RecognitionImage Understanding中文图像识别图像理解核心任务识别对象解释视觉信息典型问题图片里有什么图片中发生了什么分析深度主要是识别可以包含关系分析与推理典型输出物体名称场景解释、分析结果知识点图像理解不仅关注图片中出现了什么还关注这些信息如何与用户的任务联系起来。2.2 Images as Context图片作为上下文P08 已经介绍过 Context上下文 的重要性。在图像理解任务中图片本身就可以成为 Context。例如用户向 AI 提问How can I improve this design?如果没有图片AI 并不知道用户正在讨论什么设计。但如果上传一张网页截图AI 就能够结合实际界面提出建议。示例 PromptI have uploaded a screenshot of my website. Please analyze the design. Focus on: 1. Visual hierarchy 2. Layout consistency 3. Navigation clarity 4. Readability 5. Accessibility Identify the most important problems and suggest improvements.为什么图片作为 Context 很有用因为图片能够直接提供空间布局。颜色和视觉层次。物体之间的位置关系。图形结构。用户难以准确描述的细节。Text Context vs. Image Context对比维度Text ContextImage Context中文文本上下文图像上下文信息特点明确描述目标和要求直接展示视觉信息主要优势适合说明规则与约束适合呈现布局和外观主要局限可能难以描述复杂视觉内容可能缺少背景和任务目标最佳使用方式与图像结合与明确 Prompt 结合学习启示图片负责提供视觉事实文字 Prompt 负责说明任务目标。将两者结合通常比只使用其中一种信息更有效。2.3 Visual Question Answering视觉问答Visual Question AnsweringVQA视觉问答 指用户针对图片提出问题由 AI 结合图像信息生成回答。例如用户上传一张餐厅菜单图片。可以提问Read the menu in this image. Identify: 1. Main dishes 2. Prices 3. Vegetarian options 4. Items with unclear descriptions Organize the results into a table.AI 可以尝试读取菜单内容并整理成结构化信息。视觉问答的主要形式Identification识别图片中有什么Description描述图片展示了什么场景Comparison比较两个物体有什么区别Explanation解释图表反映了什么趋势Reasoning推理根据图片中的条件可以得出什么结论示例分析数学题截图Read the math problem in the image. First, transcribe the problem. Then solve it. Show the key calculation steps and verify the final answer. If any part of the image is unclear, ask for clarification.这个 Prompt 将任务分成两个阶段先正确读取题目。再进行数学推理。知识点图像理解和推理是两个不同环节。即使 AI 推理能力很强如果最初错误读取图片也可能得到错误答案。2.4 OCROptical Character RecognitionOCR光学字符识别 是指从图片中识别文字的技术。例如识别扫描文档中的文字。读取照片中的菜单。提取截图中的代码。识别手写笔记。将纸质表格转换成文本。OCR 的简化流程Image Input 图片输入 ↓ Text Detection 检测文字区域 ↓ Text Recognition 识别文字 ↓ Text Extraction 提取文本 ↓ Further Analysis 进一步分析现代多模态模型可以将文字识别与语言理解结合起来。例如用户上传一张课堂板书照片Read the handwritten notes in this image. Transcribe the visible text as accurately as possible. Then organize the content into structured Markdown notes. Mark any unclear words instead of guessing.为什么 OCR 可能出错因为图片可能存在文字模糊。字体过小。手写字难以辨认。图片倾斜。光线不足。背景复杂。学习启示对于需要精确文字的任务应该先检查 AI 的识别结果再进行总结或分析。2.5 Visual Reasoning视觉推理Visual Reasoning视觉推理 指 AI 根据图片中的视觉信息结合逻辑分析得出结论。例如用户上传一张包含多个节点和箭头的系统架构图。可以要求Analyze the uploaded system architecture diagram. Identify: 1. Main components 2. Data flow 3. Dependencies 4. Potential bottlenecks 5. Possible design improvements Base your analysis on the diagram. Clearly distinguish visible information from assumptions.AI 需要理解哪些组件相互连接。数据如何流动。哪些模块存在依赖。哪些位置可能成为瓶颈。Image Description vs. Visual Reasoning对比维度Image DescriptionVisual Reasoning中文图像描述视觉推理核心目标描述图片内容根据视觉信息进行分析典型任务描述架构图分析架构中的潜在问题是否需要推理相对较少通常较多主要风险识别错误识别错误与推理错误核心知识点Visual Reasoning 将 P10 的 Reasoning 能力扩展到图像任务但推理结果仍然受到图片清晰度和信息完整性的限制。三、老师的实际案例我进一步查阅了公开课程笔记找到了 P16 中几个比较有代表性的案例包括白板照片、健身器械、购物收据和手写文字。这些案例有多个二手课程资料支持但尚未逐句核对视频原文。3.1 案例一白板照片与卷积神经网络老师展示了一张自己站在白板前讲解 AI 概念的照片。照片存在两个问题白板上的文字是手写的。老师的身体遮挡了部分内容。其中Convolutional卷积这个单词有一部分被遮住了。老师向 AI 提问大意是What is this class about?AI 不仅识别了白板上可见的文字还结合图形和其他内容推断出课程正在讲解 Convolutional Neural Networks卷积神经网络CNN。为什么这个案例重要因为 AI 并不只是逐字读取图片。它还可以结合图片中可见的文字。白板上的图形。不同信息之间的关系。模型已有的专业知识。对缺失的信息进行合理推断。需要注意AI 推断被遮挡的内容并不代表它真的看到了这些文字。它可能只是根据上下文猜测。知识点图像理解能够结合视觉信息与预训练知识但必须区分直接识别与推断补全。3.2 案例二健身房器械识别老师展示了两种外观相似的健身器械Glute Kickback Machine臀部后踢训练器Hamstring Curl Machine腿弯举训练器它们在某些拍摄角度下可能非常相似。如果图片比较模糊AI 可能无法准确区分。为什么会出现错误因为模型可能只注意到器械整体轮廓。金属支架。座椅。配重装置。但忽略真正用于区分器械的细节。例如支撑垫的位置。运动轨迹。关节活动方式。器械的具体结构。如何改善 PromptAnalyze this gym equipment image. Identify the machine if possible. Pay particular attention to: 1. Body position 2. Padding placement 3. Movement direction 4. Mechanical structure If multiple machines look similar, explain the possible alternatives. Do not guess when the image does not contain enough detail.知识点AI 对图片的整体内容可能理解得很好但在区分外观高度相似的物体时仍然可能出错。3.3 案例三收据识别与费用计算老师还介绍了使用 AI 读取购物收据的场景。假设你和朋友一起吃饭希望计算自己点的食物总共多少钱。可以拍摄收据然后向 AI 提问Read the receipt in this image. I ordered: - Item A - Item C - Item D Calculate the subtotal for my items. Show the extracted prices and calculation. Flag any unclear numbers.AI 需要完成哪些任务识别收据上的文字。找到对应商品。提取价格。执行加法。输出计算结果。为什么需要检查结果因为错误可能出现在多个环节。例如将 $8.50 识别成 $3.50。将商品名称与错误价格对应。重复计算某个商品。忽略税费或小费的分摊规则。知识点多模态任务可能包含多个连续步骤。即使最终计算正确如果前面的图像识别错误结果仍然不可靠。3.4 案例四手写文字识别老师还讨论了使用 AI 读取手写文字。例如用户可能拥有家人的手写信件。手写食谱。课堂板书。会议笔记。可以直接拍照并交给 AI。示例 PromptTranscribe the handwritten text in the uploaded image. Requirements: 1. Preserve the original wording. 2. Maintain paragraph structure. 3. Do not silently correct uncertain words. 4. Mark unclear text as [unclear]. 5. Provide a cleaned-up version separately.为什么要区分原始转写和整理版本因为 AI 可能在转写过程中自动修正拼写错误。不完整句子。不规范语法。难以辨认的单词。但如果用户需要保存原始资料这些自动修改可能改变原文。因此建议分别生成Literal Transcription忠实转写Cleaned-up Version整理版本知识点在处理手写资料时应明确要求 AI 保留原文并将不确定内容标记出来。3.5 案例五多张图片整理头脑风暴结果老师还介绍了一个实用场景在头脑风暴会议结束后用户可能拍摄白板照片。便利贴。手写笔记。会议草图。然后一次上传多张图片让 AI 总结讨论结果。示例 PromptI have uploaded several images from a brainstorming meeting. Analyze all the images together. Please: 1. Extract the visible ideas. 2. Group similar ideas. 3. Identify recurring themes. 4. Highlight unresolved questions. 5. Create a structured meeting summary. Do not invent ideas that are not supported by the images. Mark unclear handwritten text.为什么这个案例重要因为现实中的信息往往分散在多个载体中。AI 可以帮助用户将这些非结构化信息整理为结构化笔记。但用户仍然需要检查是否遗漏某张图片中的内容。是否错误合并不同观点。是否误读手写文字。是否将推测当成会议结论。老师案例总结案例主要任务核心知识点白板与 CNN根据图片理解课程主题视觉信息与上下文推断健身器械区分外观相似的物体精细视觉识别的局限购物收据提取价格并计算OCR 与推理结合手写文字将手写内容转换为文本转写准确性多张会议照片整理头脑风暴结果多图信息综合四、如何写出更好的 Image Understanding Prompt4.1 普通 PromptWhat is in this image?这个 Prompt 可以用于简单图片描述。但如果用户希望完成更具体的任务就需要补充要求。4.2 改进后的 PromptAnalyze the uploaded image carefully. Task: Identify and explain the important information relevant to my question. Context: [Describe why the image matters.] Requirements: 1. Identify the main visual elements. 2. Explain relevant relationships. 3. Extract important visible text. 4. Distinguish observations from inferences. 5. Identify unclear or missing details. Accuracy: - Do not invent visual details. - State uncertainty when necessary. - Ask for a clearer image if needed. Output: 1. Summary 2. Key Observations 3. Detailed Analysis 4. Uncertainties 5. Conclusions4.3 为什么第二个 Prompt 更好Prompt 要素具体内容Task明确图像分析任务Context提供图片背景Visual Elements识别主要视觉信息Relationships分析元素之间的关系OCR提取可见文字Uncertainty标记无法确认的细节Output Format结构化输出学习启示好的图像理解 Prompt 不只是要求 AI 看图还应该告诉它应该关注哪些细节以及如何处理无法确认的信息。五、Image Understanding 的局限性5.1 Fine-grained Recognition细粒度识别AI 可能难以区分非常相似的物体。例如外观相似的健身器械。不同型号的电子元件。相似的机械零件。细微差异的产品版本。因此对于精确型号识别应结合产品标签、说明书或其他资料验证。5.2 Occlusion遮挡图片中的部分内容可能被遮住。AI 可以尝试根据上下文推断但不一定正确。例如白板案例中被遮挡的 Convolutional是通过可见内容和专业知识推断出来的。5.3 Low Image Quality低图像质量图片可能存在分辨率低。光线不足。运动模糊。文字过小。拍摄角度不合适。这些因素都可能降低识别准确性。5.4 Visual Hallucination视觉幻觉AI 可能描述图片中实际上不存在的内容。例如虚构物体。错误读取数字。猜测不可见文字。将不确定信息表述为事实。因此Plausible Description ≠ Verified Observation即看起来合理的描述不等于经过确认的视觉事实。六、重要英文术语English中文解释Image Understanding图像理解识别和分析图片中的信息Image Recognition图像识别识别图片中的对象Visual Question Answering视觉问答根据图片回答用户问题Visual Reasoning视觉推理利用视觉信息进行分析OCR光学字符识别从图片中提取文字Image Context图像上下文图片提供的背景信息Fine-grained Recognition细粒度识别区分外观相似的物体Occlusion遮挡图片部分内容不可见Handwriting Recognition手写识别识别手写文字Literal Transcription忠实转写尽量保留原始文字Image Resolution图像分辨率图片的像素精细程度Visual Hallucination视觉幻觉AI 错误描述视觉内容Observation观察直接从图片中获取的信息Inference推断根据已知信息得出的判断Uncertainty不确定性无法可靠确认的内容Multi-image Analysis多图分析综合多张图片的信息七、实践练习Exercise 1图像识别与视觉推理选择一张包含多个物体的图片。首先提问Identify the objects in this image.然后提问Analyze the relationships between the objects in this image. Explain what is directly visible and what you are inferring.比较两次回答哪个回答包含更多分析哪些内容属于直接观察哪些内容属于推断是否存在无法确认的信息练习目标理解 Image Recognition 与 Visual Reasoning 的区别。Exercise 2手写笔记转 Markdown拍摄一张自己的课堂笔记。使用以下 PromptRead the handwritten notes in the uploaded image. First, transcribe the original text. Then organize the notes into structured Markdown. Include: 1. Main topics 2. Important concepts 3. Key explanations 4. Unclear information Do not invent missing content.练习目标学习利用图像理解将纸质笔记转换成数字化学习资料。Exercise 3测试细粒度视觉识别选择两张外观相似、但实际用途不同的物体图片。例如两种健身器械。两种机械零件。两种电子元件。使用以下 PromptCompare these two images. Identify: 1. Visual similarities 2. Important differences 3. Possible functions 4. Details needed for accurate identification Do not assume the objects are identical simply because they look similar.观察 AI 是否能够准确区分。练习目标理解多模态 AI 在细粒度识别任务中的局限。以上练习为根据课程内容设计的教学补充并非已核实的官方实验题目。八、复习问题Q1什么是 Image Understanding答Image Understanding 是 AI 对图片中的视觉信息进行识别、解释和分析的能力。Q2Image Recognition 与 Visual Reasoning 有什么区别答Image Recognition 主要识别图片中有什么而 Visual Reasoning 进一步利用视觉信息进行分析和推断。Q3为什么老师的白板照片案例很重要答因为 AI 能够结合可见文字、图形和预训练知识推断出被遮挡的课程主题但推断并不等于直接看到了遮挡内容。Q4为什么 AI 容易混淆外观相似的健身器械答因为区分它们可能依赖细微结构差异而模型可能无法准确识别这些细节。Q5为什么收据识别需要检查结果答因为任务包含文字识别、价格匹配和数学计算任何环节出错都可能影响最终结果。Q6如何提高图像理解任务的可靠性答提供清晰图片、明确分析目标、要求区分观察与推断并核实重要细节。九、一页速记版Quick Review核心思想Image Understanding 让 AI 能够将图片作为 Context直接识别、解释和分析视觉信息但对细微差异、遮挡内容和模糊文字仍可能判断错误。三个重要能力Image Recognition识别图片中的对象。Visual Reasoning根据图片进行分析和推理。OCR / Handwriting Recognition读取图片中的文字和手写内容。三个核心原则Use images to provide richer context.使用图片提供更加丰富的上下文。Pay attention to fine visual details.注意 AI 可能忽略细微的视觉差异。Distinguish observations from inferences.区分直接观察的信息与 AI 的推断。P15 → P17 的知识逻辑P15 — Working with Multimedia Data ↓ AI 如何处理不同类型的数据 ↓ P16 — Image Understanding ↓ AI 如何理解和分析图片 ↓ P17 — Image Generation ↓ 如何使用 AI 生成和修改图片最终总结Image Understanding 的核心价值是让用户不必完全依靠文字描述现实信息而是能够直接通过图片与 AI 交流。高阶用户需要学会将图片与明确的 Prompt 结合同时认识到视觉理解并不完美尤其要注意精细细节、遮挡和不确定性。参考资源吴恩达《给所有人的人工智能提示词课程|AI Prompting for Everyone》DeepSeek-v4-pro翻译DeepLearning.AI — AI Prompting for Everyone 官方课程Full AI Prompting Course with Andrew Ng — 公开英文转写稿课程 Slides
