一.按照数据模态分类1.1计算机视觉1.1.1图像分类概念图像分类是计算机视觉中最基础的核心任务给定一张输入图像算法需要从预定义的类别集合中挑出一个最能描述该图像内容的标签直白点说就是识别图中“是什么”。例子假设我们有一个已经训练好的、专门用于区分“猫”和“狗”的AI系统当我们将一张猫咪的图片输入进去时算法会通过多层神经网络对图像特征进行计算和提取最终在输出端明确判定并给出标签——“Cat”。1.1.2目标检测概念目标检测是计算机视觉中的一项核心任务它不仅能回答图像里“有什么”还要回答它们“在哪里”直白点说就是系统需要确定图像中物体的类别识别 What并用边界框精确框出每个物体的位置定位 Where。例子假设我们有一个已经训练好的目标检测系统当我们将一张包含多辆汽车、公交车、卡车和行人的复杂街道俯拍图输入进去时算法会对图像进行扫描和特征计算最终在输出画面中不仅准确识别出了这些物体的种类还分别用绿色或橙色的边界框把它们各自的位置圈了出来并在框上标注了类别标签和置信度分数如“car 0.86”、“truck 0.84”。1.1.3语义分割概念语义分割是计算机视觉中比目标检测更进一步的任务目标检测关心的是“在哪里有什么画框”而语义分割关心的是“每个像素是什么”直白点说就是将图像中的每一个像素点都划分到对应的类别中。例子假设我们有一个已经训练好的语义分割系统当我们将一张复杂的城市街景图输入进去时算法会对图像进行逐像素的扫描与分类计算最终在输出画面中它不会只是用方框圈出汽车或人而是将画面中的道路、天空、树木、汽车、行人等不同区域分别涂上不同的颜色实现了对画面内每一个像素所属类别的精准划分。1.1.4实例分割概念实例分割是在图像或视频中将每个感兴趣的物体的轮廓精确描绘出来并且区分开同一类别的不同个体直白点说就是它不仅要识别出物体是什么像素级抠图还要分清同类物体中的“张三”和“李四”。例子假设我们有一个训练好的实例分割系统当我们将一张草原上有多匹马的图片输入进去时算法会对图像进行像素级的特征提取与分类最终在输出画面中它没有粗暴地只画几个方框而是极其精细地沿着每一匹马的边缘描摹出了它们的轮廓并分别涂上绿色、紫色、青色等不同的颜色同时打上“horse”的标签。这样一来即使它们都是马系统也成功把这几匹不同的马当成了独立的个体区分开来。1.1.5目标追踪概念目标跟踪主要关注视频流是在视频的第一帧给定一个目标或由模型自动检测出目标后在后续的帧中持续定位该目标的位置直白点说就是它的核心在于建立时序上的关联让系统知道“这一帧的物体就是上一帧的那个物体”。例子假设我们有一个训练好的目标跟踪系统当我们将一段马路监控视频输入进去并在第一帧标记了一辆特定驶来的红色皮卡算法会在后续的每一帧画面中不断计算并预测这辆车的轨迹与特征最终在输出画面中即使这辆车在画面中不断移动系统也能始终用一个带编号比如“1”的边界框紧紧锁定住它实现跨帧的持续追踪。1.1.6关键点检测概念关键点检测不关心物体的整体轮廓它只寻找那些能定义形状的特定坐标 (x, y)直白点说就是通过定位几个核心的“关节”或“极点”来勾勒出物体的骨架姿态。例子假设我们有一个已经训练好的关键点检测系统当我们将一张包含多名滑雪者的照片输入进去时算法会在图像中寻找特定的坐标点最终在输出画面中系统并没有画出滑雪者的整个身体轮廓而是精准地标出了他们的头顶、肩膀、手肘、膝盖和脚踝等核心节点并用连线把这些点连起来清晰地展示出每个运动员当前的滑雪姿态。1.1.7文字与符号识别概念文字与符号识别OCR是计算机视觉中专门处理图像文字和符号的任务它的目标是让计算机像人一样从图片、视频帧或扫描文档中“读”出文本内容并转化为可编辑、可搜索的字符信息直白点说就是把照片里“死”的文字变成电脑里“活”的文字。例子假设我们有一个已经训练好的OCR系统当我们将一张包含姓名、性别、住址、身份证号等信息及照片的实体身份证图片输入进去时算法会精准定位图像中的文字区域并进行识别最终在输出端它不仅能逐字提取出“张三”“广东省深圳市龙岗区坂田街道华为基地”等具体文本还能自动将其分类填入对应的电子表单框中完成信息的结构化提取。1.2自然语言处理1.2.1自然语言理解文本分类概念文本分类是自然语言理解NLU中最基础、最成熟的任务旨在将一段长度不定的文本自动打上一个或多个预先设定好的类别标签直白点说就是给一段文字“贴标签”它的技术本质通常是一个多分类或多标签问题。例子假设我们有一个已经训练好的智能客服文本分类系统当我们将用户发来的一句话“我想改一下收货地址”输入进去时算法会对这句话进行语义特征提取与计算最终在输出端明确判定该文本的意图并输出标签“[修改订单]”从而帮助系统自动进行下一步处理。情感分类概念情感分析是文本分类的一个特殊子集专门用来判断文本背后的主观情绪、观点或态度通常是极性如正向或负向以及强度直白点说就是让计算机去“察言观色”判断一段话是夸赞还是批评。例子假设我们有一个已经训练好的电商评价分析系统当我们将一条用户评论“这手机电池太不耐用了”输入进去时算法会对文本中的情感词汇和语境进行计算最终在输出端明确判定并给出结果——负向Negative从而帮助商家迅速定位用户的不满。命名实体识别概念命名实体识别NER是从非结构化的文本中识别出具有特定意义的实体指代并将其归入预定义的类别如人名、地名、组织名、日期等直白点说就是在一大段文字里“大海捞针”把关键的名字、地点和特定名词挑出来并分门别类它是信息抽取的基石。例子假设我们有一个训练好的信息抽取系统当我们将一句话“马云在杭州创办了阿里巴巴时间是1999年。”输入进去时算法会对句子进行词法分析和语义判断最终在输出端明确识别出不同的实体类别给出结果“马云”属于人名“杭州”属于地名“阿里巴巴”属于组织机构“1999年”属于时间。语义相似度概念语义相似度是计算两段文本在含义层面上的相近程度而不是字面重复程度直白点说就是让计算机“听懂人话”判断两句话表达的意思是不是一回事这是搜索引擎、问答系统和智能推荐的核心算法。例子假设我们有一个训练好的语义计算系统当我们将句子A“如何给手机快速充电”和句子B“手机快充有哪些技巧”同时输入进去时算法不会去死板地匹配字面而是对两句话进行深层的意图理解最终在输出端判定它们的相似度高达0.95极高语义一致而如果输入的是句子A和句子C“今天手机电量消耗很快。”模型则能发现两者探讨的话题不同给出仅0.15的极低相似度从而精准完成语义匹配。1.2.2自然语言生成机器翻译概念机器翻译是将一种语言的文本自动翻译成另一种语言直白点说就是打破语言的壁垒让计算机充当跨越语种的“翻译官”。例子假设我们有一个已经训练好的中英机器翻译系统当我们将中文句子“今天天气很好”输入进去时算法会对这句话进行语义理解和目标语言的重组计算最终在输出端明确生成对应的英文句子——“The weather is very nice today.”。对话生成概念对话生成指的是构建能与人类进行多轮交互的聊天机器人直白点说就是让机器不仅能听懂人话还能结合上下文语境给出合理的回复。例子假设我们有一个已经训练好的智能对话系统当用户输入“帮我查一下明天的天气。”时系统发现缺少地点信息便在输出端反问“您所在的城市是哪里”当用户紧接着回答“上海。”时系统结合上一轮的对话语境最终在输出端给出完整回答——“明天上海晴转多云22℃28℃。”从而完成了一次多轮交互。文章摘要概念文章摘要是指将长文本压缩成包含关键信息的短文本直白点说就是给长篇大论“划重点”它通常分为直接抽原句的“抽取式”和重新组织语言的“生成式”两种。例子假设我们有一个训练好的新闻摘要生成系统当我们将一篇长达数千字的关于某科技公司发布会的新闻输入进去时算法会对全文进行信息筛选和语义浓缩最终在输出端输出一句简明扼要的摘要——“5月6日XX公司发布新款手机配备最新AI芯片起售价5999元。”让人一目了然。1.3语音处理1.3.1语音识别概念语音识别是将人类语音中的词汇内容转换为计算机可读的文本或指令的过程直白点说就是“语音转文字”让计算机长上耳朵听懂人类说话。例子假设我们有一个已经训练好的语音识别系统如常见的智能音箱或无障碍字幕工具当我们在微信里按住说话输入一段4秒的语音“明天下午三点开会”后算法会对这段音频的声学特征进行提取和计算最终在输出端准确无误地把声音转化为对应的文字内容显示在屏幕上。1.3.2语音处理概念语音合成是让计算机将文本转换为自然、流畅且富有表现力的语音直白点说就是“文字转语音”让计算机长上嘴巴开口说话。例子假设我们有一个已经训练好的高拟人化TTS系统当我们将一段新闻文本输入进去时算法会根据文本的语义和标点进行韵律预测与发音计算最终在输出端生成一段带有情感起伏、极度逼真的人类声音朗读音频甚至只需提供几秒钟的特定人声样本它就能克隆出那个人的音色来读出这段新闻。讯飞https://www.xfyun.cn/services/online_tts推出的在线语音服务点击播放就可以把文字转换为声音而且支持方言1.4多模态1.4.1理解与推理概念多模态的理解与推理是指模型从多种类型的数据如视觉、文本中联合提取含义并进行分析直白点说就是结合“看到的画面”和“听到的问题”一起动脑子思考。例子假设我们有一个已经训练好的多模态AI系统当我们将一张包含多个人物的图片和一句问题“图中穿红衣服的人在做什么”同时输入进去时算法会结合文本语义在画面中精准定位到红色区域并分析该人物的动作最终在输出端给出答案——“穿红衣服的人正在骑自行车”。1.4.2生成与创作概念多模态的生成与创作是指根据一种模态的数据生成另一种模态的数据直白点说就是跨媒介的“魔法”比如“看图说话”或者“根据文字画画”。例子假设我们有一个已经训练好的AI绘画系统如Midjourney当我们将一段文字描述“一只戴着宇航员头盔的橘猫在月球上漫步”输入进去时算法会深度理解这段文本的语义特征并将其映射到视觉空间进行图像计算最终在输出端生成一张极其逼真、完全符合文字描述的精美图片。1.4.3对齐与检索概念多模态的对齐与检索是指在不同模态的数据之间找到精准的对应关系直白点说就是“以文搜图”或“以图搜文”在海量数据中实现跨格式的精准匹配。例子假设我们有一个训练好的跨模态检索引擎当用户输入一段文字“一只在沙滩上玩耍的金毛犬”时算法会将这段文本特征与数据库中成百上千万张图片的视觉特征进行对比计算最终在输出端从海量图库中精准提取并展示出最符合该描述的那张金毛犬图片。举一个栗子~1.我们可以使用豆包输入提示词创建⼀个图片二.机器学习和深度学习的区别对比维度传统机器学习深度学习1. 特征提取方式高度依赖人工特征工程专家手动设计端到端学习自动从原始数据抽象出高阶特征2. 模型可解释性强可解释性如决策树推理路径清晰“黑盒”模型复杂的非线性映射难以解释逻辑3. 数据依赖性在小样本下表现稳定不易过拟合高度依赖海量标注数据大数据下才具压倒性优势4. 计算资源消耗算力需求较低训练阶段极度消耗算力GPU/TPU和存储推理阶段可压缩部署至端侧深度学习和传统机器学习最核心的区别就三句话特征提取传统机器学习靠人工手写找特征深度学习靠机器自己自动提取。数据与算力传统算法在小数据下稳定、算力要求低深度学习必须靠海量数据和庞大算力GPU才能发挥威力。可解释性传统算法是透明的能看懂逻辑深度学习是“黑盒”难以解释内部原理。
