写在前面就像进公园第一步要先看地图一样学习大模型应用开发也要先看地图。这篇文章是我描绘的一张大模型开发地图。不完全版本一、自下而上构建的地图本分层是大模型应用落地的工程视角分层面向 AI 应用开发者。这样分层的原因是为了描述后面拿到现成 LLM 基座之后如何一层层搭建 AI 业务应用不是描述大模型预训练、模型训练体系。采用自底向上分层架构下层为基础依赖上层调用下层。图中包含两类关系跨层垂直依赖和同层水平组件协作。实线--跨层依赖关系垂直方向上层组件运行依赖下层提供基础能力下层不知道上层的存在。整体依赖顺序交付层 → 业务能力层 → 编排层 → 基座层。虚线-.-同层组件协作关系水平方向同一层级内的组件可以按需互相组合、调用、复用不是强制依赖。二、逐层拆解1、基座层最底层LLM 大模型如通义千问、GPT、Qwen、Llama。作为整套 AI 应用的语义推理与文本生成大脑提供理解、推理、决策的基础能力模型本身没有外部知识库、没有记忆不能自主调用工具。划分依据所有上层 AI 能力都依赖 LLM 的推理能力是整个应用的底层基座。层内关系开源 LLM、闭源 LLM 属于同类备选项目中二选一使用互相之间不存在调用关系。2、编排层LangChain 生态LangChain组件库 LCEL 线性链式编排适合固定顺序流水线RAG、顺序执行任务LangGraphLangChain 生态的图编排框架支持分支、循环、状态持久化用来实现 AgentAI 自主决策、多次检索、多轮迭代LangSmith观测、调试、评估平台LLM 应用领域的 APM 链路追踪系统划分依据属于开发框架与配套观测工具提供组件抽象与执行编排能力本身不具备业务功能是搭建 AI 能力的基础设施。层内协作LangGraph 复用 LangChain 全部 Runnable 组件二者可以互相嵌入LangSmith 负责采集 LangChain 与 LangGraph 的链路数据用于调试评估。3、业务能力层基于编排框架构建 AI 业务能力RAG 检索增强生成外挂私有知识库解决大模型幻觉、私有信息无法读取问题本次 Demo 所用Agent 智能体大模型自主判断动态选择调用工具、循环执行任务Tool 工具调用调用外部 API、数据库、脚本等能力Memory 记忆维护多轮对话上下文实现连续对话划分依据使用编排层的框架组件组装出来这一层定义应用拥有哪些 AI 业务功能。层内协作Agent 作为调度主体可以按需调用 RAG、Tool、MemoryRAG 也可以搭配 Memory 实现带对话历史的知识库问答。4、交付层CLI交付给研发 / 运维人员命令行直接交互Web 后端服务包装成 HTTP 接口交付给前端页面、其他服务调用业务系统内嵌把 AI 能力直接嵌入现有 Java 业务系统交付给业务用户运维、业务同学无独立界面类比 Spring 视角假设用 Spring 开发一个订单服务业务能力创建订单、查询订单对应 RAG/AgentSpring 框架编排层LangChain交付层可以打成 Jar 本地 CLI 运行 / 发布 HTTP Web 接口 / 嵌入已有 ERP 系统。划分依据AI 能力的接入与包装形态不改变底层 AI 能力本身解决如何将已经实现好的 AI 能力交付给使用者。交付对象运维人员、业务用户、其他业务系统。层内关系三种交付形态是独立备选方案互不调用。三、生态演进推导图业务痛点驱动演化原生 LLM 能力有限为了解决不同业务痛点分别衍生出两类事物业务能力范式和支撑范式落地的编排框架。RAG、Agent属于业务能力范式定义 AI 要具备什么能力可以脱离框架手写代码实现。LangChain、LangGraph属于编排框架解决工程落地问题用来承载上面的业务范式。四、总结基座层是AI 能力的大脑LLM语义推理生成编排层是开发框架与观测工具提供组件、编排执行链路业务能力层是基于框架组装得到的 AI 功能模块AI 能力对外暴露的接入形态面向最终使用者。因为原生 LLM 能力有限为了解决使用 LLM 时的不同业务痛点衍生出了两类事务业务能力规范和实现这套规范的编程框架。
)
