本文深入解析了CoT、ReAct、ToT三种大模型推理模式的原理与应用场景指出80%的Agent任务仅需ReAct即可满足需求ToT虽效果提升有限但成本高昂。文章强调选择推理模式需根据任务推理步骤数与路径唯一性并提供决策路径图帮助读者快速选型适合对ChatGPT和函数调用有一定了解的工程师参考学习。很多人把 CoT、ReAct、ToT 当成初级→高级的升级关系好像 ToT 一定比 CoT 好。但实际测试下来80% 的 Agent 任务用 ReAct 就够了ToT 的成本是 ReAct 的 5-10 倍效果提升可能只有几个百分点。阅读提示适合谁看用过 ChatGPT / 知道 Function Calling但还没系统研究过推理模式的工程师看完能做什么理解 CoT/ReAct/ToT 的原理差异、选对推理模式、避免过度设计不适合谁还没用过大模型做推理任务的读者先给结论CoT、ReAct、ToT 不是三种升级版而是三种完全不同的推理范式——适用场景、成本、可靠性差异巨大大多数 Agent 项目只需要 ReAct 就够了——ToT 的复杂度和成本是 ReAct 的 5-10 倍只有在需要探索多条路径的场景才值得推理模式的选择核心是你的任务需要多少步推理和推理路径是否唯一——单步任务不需要 CoT路径唯一的任务不需要 ToT01 三种模式不是升级关系先纠正一个常见误区CoT → ReAct → ToT 不是初级→高级的升级路径。CoTChain-of-Thought纯推理链。让模型一步一步想但不和外部世界交互。适合推理路径清晰、不需要外部信息的任务。ReActReasoning Acting推理执行交替。每一步先想Thought再做Action再看结果Observation循环往复。适合需要外部信息、推理路径唯一的任务。ToTTree-of-Thought树状探索。每步生成多个候选评估后保留最优的几个继续往下探索。适合推理路径不唯一、需要尝试多条路的任务。图 1三种推理模式的执行流程对比核心区别不是谁更聪明而是谁更适合。02 CoT 的原理为什么一步一步想能提升推理能力CoT 的核心思想是让模型在生成最终答案之前先生成中间推理步骤。从 Attention 的角度看为什么这有效当模型直接回答17 × 24 ?“时它要在一步 Attention 里完成整个乘法——这对模型来说很难。但如果让它先算17 × 20 340”、“17 × 4 68”、“340 68 408”每一步的中间结果都作为 token 进入 KV Cache为后续步骤提供了推理上下文。CoT 的 Prompt 模板请一步一步思考以下问题 问题一个商店有 17 个苹果卖掉了 24% 后又进货了 10 个现在有多少个 让我们一步一步来 1. **先算卖掉的数量17 × 24% 17 × 0.24 4.08约 4 个** 2. **剩余数量17 - 4 13 个** 3. **进货后13 10 23 个** 答案23 个CoT 的局限纯推理不能调用外部工具。如果问题需要查数据库、调 API、执行代码CoT 就无能为力了。03 ReAct 的原理推理执行交替ReAct 的核心思想是在推理过程中穿插外部工具调用每一步都是 Thought → Action → Observation 循环。ReAct 的 Prompt 模板你是一个能使用工具的助手。请按以下格式回答问题 Thought: 我需要思考什么 Action: 调用哪个工具传什么参数 Observation: 工具返回的结果 ... (重复 Thought/Action/Observation) Thought: 我已经有足够信息了 Final Answer: 最终答案 可用工具 - search(query): 搜索互联网 - calculator(expression): 计算数学表达式 - sql_query(sql): 执行 SQL 查询 问题小米集团上周五的收盘价是多少涨跌幅是多少ReAct 的执行过程Thought: 我需要查小米集团上周五的收盘价然后计算涨跌幅 Action: search(小米集团 上周五 收盘价) Observation: 小米集团(1810.HK)上周五收盘价 42.50 港元 Thought: 我拿到了收盘价现在需要查前一天的收盘价来算涨跌幅 Action: search(小米集团 上周四 收盘价) Observation: 小米集团(1810.HK)上周四收盘价 41.80 港元 Thought: 涨跌幅 (42.50 - 41.80) / 41.80 1.67% Final Answer: 小米集团上周五收盘价 42.50 港元涨跌幅 1.67%ReAct 和 CoT 的本质区别CoT 是纯推理只在脑子里想ReAct 是推理执行想了就去做做完再想。ReAct 的每一步 Action 都会调用真实的外部工具拿到真实数据。04 ToT 的原理把推理建模为树搜索ToT 的核心思想是在每一步生成多个候选评估后保留最优的几个继续往下探索——本质上是把推理过程建模为树搜索BFS/DFS。ToT 的 Prompt 模板你是一个需要探索多条路径的问题求解器。 每一步请生成 3 个候选思路评估每个思路的可行性1-10 分保留得分最高的 1-2 个继续探索。 问题设计一个方案让用户在 3 秒内找到想要的商品 Step 1 - 候选思路 A. 全文搜索可行性 6/10简单但结果不精准 B. 分类导航筛选可行性 8/10结构化但需要用户多步操作 C. AI 对话式推荐可行性 9/10最自然但需要理解用户意图 保留 B 和 C 继续探索。 Step 2 - 深入 B分类导航筛选 B1. 三级分类多维度筛选可行性 7/10 B2. 智能分类一键筛选可行性 8/10← 推荐 Step 2 - 深入 CAI 对话式推荐 C1. 纯文本对话可行性 6/10 C2. 多模态对话图片识别可行性 9/10← 推荐 最终方案C2多模态对话图片识别备选 B2ToT 和 ReAct 的本质区别ReAct 是单条路径探索走一步看一步ToT 是多条路径并行探索同时走多条路选最好的。ToT 的 LLM 调用次数是 ReAct 的 3-5 倍但能找到更优解。05 三种模式对比维度CoTReActToT推理方式线性链式推理执行交替树状多路径探索LLM 调用次数1 次3-6 次5-15 次token 消耗低中高高外部工具调用不支持支持支持更复杂适用任务数学推理、逻辑推导信息检索、代码执行创意写作、策略规划可靠性高路径确定中高依赖工具中路径不确定最佳场景推理路径清晰、不需要外部信息需要外部信息、路径唯一需要探索多条路径、路径不唯一06 最小实验同一题三种模式求解问题“小明有 100 元买了 3 本单价 25 元的书又用剩下的钱的 60% 买了文具最后还剩多少钱”CoT 求解1 次 LLM 调用1. **买书花费3 × 25 75 元** 2. **剩余100 - 75 25 元** 3. **文具花费25 × 60% 15 元** 4. **最终剩余25 - 15 10 元** 答案10 元ReAct 求解3 次 LLM 调用Thought: 先算买书花了多少 Action: calculator(3 * 25) Observation: 75 Thought: 再算剩余 Action: calculator(100 - 75) Observation: 25 Thought: 最后算文具花费和剩余 Action: calculator(25 * 0.6) Observation: 15 Final Answer: 剩余 10 元ToT 求解5 次 LLM 调用候选 1: 先算总花费再减不可行不知道文具具体价格 候选 2: 分步算先算书再算文具可行8 分← 保留 候选 3: 用方程解可行但复杂6 分 ...继续探索候选 2...观察这个问题只有一个正确解法CoT 就够了。ReAct 多调了 2 次 LLM为了用计算器ToT 多调了 4 次 LLM为了探索多条路径但结果一样。这就是过度推理——ToT 在简单任务上反而更慢且不更好。07 看起来强其实弱的反例反例 1ToT 在简单检索任务上反而更差一个信息检索任务“查一下北京今天的天气”。ReActsearch(“北京今天天气”) → 拿到结果 → 回答。1 次工具调用成功率 95%ToT生成 3 个搜索候选 → 评估 → 选最优 → 搜索 → 评估结果 → 可能再搜一轮。3-5 次工具调用成功率 88%因为多轮搜索反而引入了噪音反例 2CoT 在需要外部信息的任务上完全失效“小米集团上周五的收盘价是多少”CoT模型不知道最新股价只能瞎猜或说我没有实时数据ReActsearch(“小米集团 上周五 收盘价”) → 拿到真实数据 → 回答在我们的项目里ReAct 在信息检索类任务上的成功率约 85%ToT 在同类任务上约 88%但成本高了 6 倍——这个 trade-off 在大多数场景下不划算。08 选型决策路径图 2推理模式选型决策图简单决策规则单步推理、不需要外部信息 → 直接 Prompt不需要 CoT多步推理、路径唯一、需要外部信息 → ReAct推荐80% 的 Agent 任务属于这类多步推理、路径唯一、不需要外部信息 → CoT多步推理、多条路径、需要探索 → ToT成本高慎用什么时候三种模式都不够当任务需要复杂的工具编排多个工具串联/并联、长期记忆管理、多 Agent 协作时单靠推理模式不够需要用 Agent 框架LangChain / LangGraph / AutoGen来编排。大模型的知识又多又杂到底怎么学做这行久了被问最多的问题就一个大模型的知识又多又杂我到底先学啥翻了一堆资料看啥都像重点结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍零基础、应届生、转行的都适用。跟着走至少方向不乱、不瞎忙学完拿得出手。第一阶段10天初阶应用这一阶段就一个目标把大模型真正玩明白不是只会聊天那种而是能调教它、能用代码把大模型和业务接起来。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用这阶段正式进实战目标很实在做出两个能拿出手的东西——一个私有知识库一个 agent 对话机器人。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…走完这 30 天Python 或 JavaScript 背景的基本能独立做一套 RAG 应用简历上也敢写大模型应用开发了。第三阶段约20天动手微调学到这你已经开始 “造” 模型了 —— 通过微调搞出垂直领域的专用小模型。为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料第四阶段20天商业闭环部署落地技术学完落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…想要入坑大模型的朋友给大家准备了一份2026 年最新 AI 大模型全套学习资料1、大模型系统化学习路线2、大模型学习视频教程3、大模型学习书籍电子文档4、AI大模型最新行业报告5、大模型项目实战配套源码6、2026大模型大厂面试真题7、为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。8、适合谁学传统后端 / Java / 前端开发想转型 AI 应用大学生、应届生想拿更好的 offer产品经理、运营想武装职业竞争力技术负责人想给团队落地提效学习是反人性的但回报是真金白银。技术会更新赛道会切换但只要你先动手机会就永远站在你这边。9、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料好了就写到这。路线是死的人是活的卡住了随时来问我。觉得有用就点个收藏别让它进收藏夹吃灰——动起来比啥都强。
