txt、csv、json)
文章目录1 RAG简介1.1 大模型的局限1.2 什么是RAG1.3 RAG优缺点1.4 RAG工作流程1.4.1 环节1：Source(数据源)1.4.2 环节2：Load(加载)1.4.3 环节3：Transform(转换)1.4.4 环节4：Embed(嵌入)1.4.5 环节5：Store(存储)1.4.6 环节6：Retrieve(检索)2 准备数据3 文档加载器Document Loaders3.1 加载txt(TextLoader)3.2 加载csv(CSVLoader)3.3 加载JSON(JSONLoader)3.3.1 常见jq schema3.3.2 示例一3.3.3 示例二：提取文件中指定的文本加载txt(TextLoader)，加载csv(CSVLoader)，加载JSON(JSONLoader)，JSONLoader使用指定的jq结构来解析JSON文件。jq是一个轻量级的命令行JSON处理器 ，可以对JSON格式的数据进行各种复杂的处理，包括数据过滤、映射、减少和转换，是处理 JSON 数据的首选工具之一 。1 RAG简介Retrieval直接翻译过来即“检索”，Retrieval模块包括与检索步骤相关的所有内容，例如数据的获取、切分、向量化、向量存储、向量检索等模块。1.1 大模型的局限(1)知识滞后LLM训练数据有截止日期 ，无法及时反映最新的信息或动态变化。比如：难以应对诸如“请推荐当前热门影片”等时间敏感性问题。(2)知识缺失大型语言模型(LLM)的训练依赖于网络上海量公开的静态数据 ，而某些特定领域(如企业内部资料、专有技术文档等)或你的私有数据是缺乏的，导致模型回复时生成不准确甚至虚构的回复。(3)幻觉LLM在生成回答时，可能会 “胡言乱语” ，这种现象称之为 LLM的“幻觉”。“幻觉”可以体现为错误陈述、编造事实、错误的复杂推理或者复杂语境下理解能力不足等。(3-1)幻觉问题的严重性：大模型生成内容的不可控，尤其是在金融和医疗领域等领域， 一次金额评估的错误，一次医疗诊断的失误，哪怕只出现一次都是致命的 。但，对于非专业人士来说可能难以辨识。目前还没有能够百分
