教程文档人工智能【免费下载链接】Ai-Engineering-RoadmapPath to becoming a self-taught AI Engineer - a curated, open-source curriculum modeled after OSSU.项目地址https://gitcode.com/gh_mirrors/ai/Ai-Engineering-Roadmap点击查看免费下载本文基于开源 AI 工程课程 Ai-Engineering-Roadmap面向新手完整讲解如何使用向量数据库 LangChain从零构建 RAG检索增强生成知识库让大语言模型能够基于你的私有文档回答问题。无需重新训练模型1–2 周即可掌握全流程。一、为什么需要 RAG 知识库如果你用过大模型肯定遇到过这些问题知识有截止日期模型训练数据是静态的不知道你的最新文档没有私有数据公司手册、个人笔记、行业资料模型根本没见过容易幻觉缺乏可靠依据时模型会一本正经地编造答案。RAGRetrieval-Augmented Generation检索增强生成就是解决这三个痛点的标准方案在生成答案前先从你的知识库中检索相关内容再把检索结果连同问题一起交给大模型生成回答。简单来说RAG 检索器Retriever 生成器Generator这也是 RAG 课程模块 的核心学习目标。二、RAG 知识库的整体架构一个完整的 RAG 知识库包含两条链路离线索引链路把文档变成可检索的向量和在线问答链路查询时检索并生成。【离线索引】 文档PDF / Markdown / 网页 └─ 分块 Chunking └─ 向量化 Embedding文本 → 向量 └─ 存入向量数据库Chroma / FAISS / Weaviate 【在线问答】 用户提问 └─ 查询同样向量化 └─ 语义相似度检索 Top-K 相关片段 └─ 组装 Prompt问题 检索上下文 └─ LLM 生成带依据的回答关键点语义搜索 ≠ 关键词搜索。向量数据库按含义相似度而非字面匹配召回内容问如何退款也能匹配到写着退还款项流程的段落。三、从零构建四步搭建你的 RAG 知识库第 1 步准备文档并分块Chunking把知识库文档笔记、PDF、手册解析为纯文本后切分成合适大小的片段常见为 200–1000 字可带少量重叠。块太大检索命中后噪声多浪费上下文窗口块太小语义不完整检索容易跑偏。03_rag.md 中明确列出 Chunking, retrieval, and prompt integration 是 RAG 管线的三大核心动作。第 2 步选择合适的 Embedding 模型与向量数据库Embedding 模型负责把文本转换成一串数字向量。LangChain 生态支持 OpenAI、Hugging Face、SentenceTransformers 等多种方案可按需选择。主流向量数据库对比方便你快速决策向量数据库定位适合场景Chroma轻量、本地优先个人知识库、快速原型FAISSMeta 开源的向量检索引擎大规模本地向量检索Weaviate服务端分布式向量库团队级生产系统 新手建议先用 Chroma 跑通流程数据量大了再迁移到 FAISS 或 Weaviate。第 3 步用 LangChain 搭建检索管线LangChain 是 RAG 领域最常用的编排框架把上面两步封装成可组合的组件Loader加载文档TextSplitter执行分块Embeddings VectorStore向量化并入库Chroma/FAISS等Retriever对查询做相似度检索返回 Top-K 片段。这一套正是 LLMs 课程模块 中 Embeddings and vector stores (FAISS, ChromaDB)、Hybrid search and document injection 的实践内容。第 4 步组装 Prompt让 LLM 基于检索结果回答最后一步是提示词工程把检索到的上下文和问题拼进 Prompt 模板要求模型仅依据给定资料回答资料不足时说明不知道。请根据以下资料回答问题。若资料中没有答案请直接说明。 资料 {retrieved_context} 问题{question}控制幻觉、要求引用来源是 Prompt Engineering 模块 中结构化提示structured prompting的典型应用。四、让知识库更好用的优化清单 跑通之后按 RAG 模块 的 Evaluation Optimization 章节逐项打磨调分块策略尝试不同 chunk size 与重叠率观察检索命中情况检索质量关注精确率与召回率Top-K 从 3–5 开始调重排序Re-ranking用交叉编码器对检索结果二次排序显著提升答案相关性混合搜索关键词搜索 语义搜索结合覆盖专有名词查询评估指标建立问答评测集量化对比每次改动的效果。五、动手实践把知识变成可展示的项目 学完理论最好直接落地。Capstone 项目 中给出了两个非常适合作为练手目标的项目Chat with Docs用 LangChain FAISS 构建和文档对话工具RAG 知识助手为自己的笔记或 PDF 建一个 RAG 问答机器人并可加 Gradio / Streamlit 界面。完成后你会同时覆盖 RAG 模块 的四个 Checkpoint✅ 能解释 RAG 的工作原理与适用场景✅ 能独立搭建从文档到问答输出的完整管线✅ 能熟练使用向量数据库与 Embedding✅ 能针对相关性、性能优化 RAG 系统。六、学习路径速查 如果你刚接触 AI 工程建议按 课程总览 的路径循序渐进阶段模块说明前置基础01_foundation/03_machine-learning.md机器学习基础前置基础01_foundation/04_deep-learning.md深度学习与 Transformer核心模块03_modern-Ai/01_llms.md大语言模型与 API 使用核心模块03_modern-Ai/03_rag.mdRAG 全流程本文主线配套模块03_modern-Ai/04_prompt-engineering.md提示工程提升生成质量工具链03_modern-Ai/05_ai-tooling.md部署、实验跟踪与协作工具实战04_capstone-project/capstone-projects.md毕业项目RAG LLM 聊天助手按节奏推进RAG 模块建议 1–2 周配合动手项目你就能从零交付一个真正可用的 RAG 知识库。赞分享教程文档人工智能【免费下载链接】Ai-Engineering-RoadmapPath to becoming a self-taught AI Engineer - a curated, open-source curriculum modeled after OSSU.项目地址https://gitcode.com/gh_mirrors/ai/Ai-Engineering-Roadmap点击查看免费下载相关推荐Chat LangChain数据导入教程如何构建专属知识向量库Chat LangChain数据导入教程如何构建专属知识向量库 想要让AI助手真正理解你的业务数据吗Chat LangChain为你提供了完美的解决方案通人工智能AI 应用AI AgentRAG后端前端QtScrcpy 安卓投屏完整教程4 步连接键鼠操控手游QtScrcpy 安卓投屏完整教程4 步连接键鼠操控手游 想把手机画面搬到大屏上玩QtScrcpy 是一款基于 Qt 的开源安卓投屏与控制软件Apach桌面应用音视频Atom-7B-Chat 接入 LangChain 搭建知识库助手从向量数据库构建到 RAG 问答与 Gradio 部署Atom 7B Chat 接入 LangChain 搭建知识库助手从向量数据库构建到 RAG 问答与 Gradio 部署 导读 本文是 Datawhale《开大模型人工智能教程本地部署微调创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
