文章目录壹. LLM基础一. 数学基础二. Python库的学习三. 深度学习基础四. 自然语言处理NLP贰. LLM应用工程一. 部署和调用LLMLLM API之openAI提示工程构建应用程序其他二. 构建向量存储三. RAG检索增强生成四. 高级 RAG五. 推理优化ing六. 生产化部署 LLM七. 加固LLM壹. LLM基础一. 数学基础在掌握机器学习之前了解驱动这些算法的基本数学概念非常重要。线性代数对于理解例如深度学习中使用的算法至关重要。关键概念包括向量、矩阵、行列式、特征值和特征向量、向量空间和线性变换。微积分许多机器学习算法涉及连续函数的优化这需要理解导数、积分、极限和级数。多变量微积分和梯度概念也很重要。概率与统计理解模型如何从数据中学习并做出预测至关重要。关键概念包括概率论、随机变量、概率分布、期望、方差、协方差、相关性、假设检验、置信区间、最大似然估计和贝叶斯推断。二. Python库的学习Python特别适用于机器学习这得益于其可读性、一致性和健壮的数据科学库生态系统。Python基础基本语法、数据类型、错误处理和面向对象编程。数据科学库NumPy进行数值操作Pandas进行数据处理和分析Matplotlib和Seaborn做数据可视化。数据预处理涉及特征缩放和规范化、处理缺失数据、异常检测、类别数据编码以及将数据分割为训练、验证和测试集。机器学习库Scikit-learn提供广泛的监督和无监督学习算法的python库。理解如何实现线性回归、逻辑回归、决策树、随机森林、最近邻K-NN和K均值聚类等算法。降维技术如PCA和t-SNE对于可视化高维数据很有帮助。三. 深度学习基础神经网络是许多机器学习模型的基础部分特别是在深度学习领域。基础知识深度神经网络的基本结构、工作原理以及常见的层类型如全连接层、卷积层、循环神经网络等、权重、偏差和激活函数sigmoid、tanh、ReLU等。训练和优化熟悉反向传播和不同类型的损失函数如均方误差MSE和交叉熵。理解各种优化算法如梯度下降、随机梯度下降、RMSprop和Adam。过拟合理解过拟合的概念模型在训练数据上表现良好但在未见数据上表现不佳并学习各种正则化技术dropout、L1/L2正则化、提前停止、数据增强来防止它。实现多层感知机MLP使用PyTorch构建一个MLP也称为全连接网络。四. 自然语言处理NLPNLP桥接了人类语言与机器理解之间的差距。从简单的文本处理到理解语言细微差别NLP在许多应用中发挥着关键作用如翻译、情感分析、聊天机器人等等。文本预处理学习各种文本预处理步骤如分词将文本分割成单词或句子、词干提取将词汇还原到其根形式、词形还原类似于词干提取但考虑上下文、停用词移除等。特征提取技术将文本数据转换为机器学习算法能理解的格式的技术。关键方法包括词袋BoW、词频-逆文档频率TF-IDF和n-gram。词嵌入embedding词嵌入是一种词表示方式允许意义相近的词有相似的表示。关键方法包括Word2Vec、GloVe和FastText。循环神经网络RNNs理解RNN的工作原理RNN是一种设计用来处理序列数据的神经网络。探索LSTM和GRU这两种RNN变体能够学习长期依赖。【大模型应用极简开发入门1】LLM概述LLM在AI中所处位置、NLP技术的演变、Transformer与GPT、以及GPT模型文本生成逻辑【大模型应用极简开发入门2】GPT模型简史从GPT-1到GPT-4从小数据量的微调到大数据量的强化学习不断优化模型贰. LLM应用工程一. 部署和调用LLM由于高硬件要求运行LLM可能很困难。可以简单地通过API如GPT-4来调用大模型。LLM APIAPI是部署LLM的便捷方式。这个领域分为私有LLMOpenAI、Google、Anthropic、Cohere等和开源LLMOpenRouter、Hugging Face、Together AI等。开源LLMHugging Face Hub是寻找LLM的好地方。您可以直接在Hugging Face Spaces中运行其中一些或者下载并在诸如LM Studio的应用中或通过CLI与llama.cpp或Ollama在本地运行它们。提示工程常见技术包括零次提示、少次提示、思维链和ReAct。它们在更大的模型上效果更好但可以适应较小的模型。结构化输出许多任务需要结构化输出如严格的模板或JSON格式。库如LMQL、Outlines、Guidance等可用于引导生成并遵循给定结构。LLM API之openAI【大模型应用开发极简入门】ChatGPT-hello world【使用ChatGPT的API之前】OpenAI API提供的可用模型【大模型应用开发极简入门】使用GPT-4和ChatGPT的编程起点ChatCompletion详解【大模型应用开发极简入门】agent之前Function Calling将自然语言转换为API调用或数据库查询【大模型应用开发极简入门】广泛使用API之前考虑成本和数据隐私【大模型应用开发极简入门】其他OpenAI API和功能embedding文本之间的向量相关性、Moderation内容审核模型、Image generation提示工程常见技术包括零次提示、少次提示、思维链和ReAct。它们在更大的模型上效果更好但可以适应较小的模型。【大模型应用开发极简入门】提示工程一1. 通过context、task、role文本结构设计有效的提示词、 2. OpenAI的提示词任务示例【大模型应用开发极简入门】提示工程二零样本学习、少样本学习与改善提示效果构建应用程序【使用ChatGPT构建应用程序】应用程序开发概述1. 管理秘钥、2. 数据安全、3. 与应用程序解耦、4. 注意提示语的注入攻击【大模型应用开发极简入门】构建新闻稿生成器提示词的使用与基于事实的提示词其他【大模型应用开发极简入门】微调一1.微调基础原理介绍、2. 微调的步骤、3. 微调的应用Copilot、邮件、法律文本分析等【大模型认识】警惕AI幻觉利用插件微调来增强GPT模型二. 构建向量存储创建向量存储是构建检索增强生成RAG管道的第一步。文档被加载、拆分相关块被用来生成向量表示嵌入。文档摄入Ingesting documents文档加载器可以处理多种格式PDF、JSON、HTML、Markdown等。文档拆分Splitting documents文本拆分器将文档拆分成较小的、语义上有意义的块。嵌入模型Embedding models嵌入模型将文本转换为向量表示。这对于进行语义搜索是必要的因为它允许更深入、更细腻的理解语言。向量数据库Vector databases向量数据库如Chroma、Pinecone、Milvus、FAISS、Annoy等被设计用于存储嵌入向量。它们根据余弦相似度检索最相似的数据。三. RAG检索增强生成使用RAGLLM从数据库检索上下文文档以提高其回答的准确性。RAG是一种增强模型知识而无需任何微调的流行方式。协调器Retrievers协调器如LangChain、LlamaIndex、FastRAG等用于将LLM与工具、数据库、记忆等连接并增强其能力。检索器Retrievers用户指令不是为检索优化的。可以应用不同技术例如多查询检索器、HyDE等来重述/扩展它们并提高性能。记忆Memory为了记住之前的指令和答案像ChatGPT这样的LLM和聊天机器人将这些历史添加到其上下文窗口中。这个缓冲区可以通过摘要例如使用较小的LLM、向量存储RAG等进行改进。评估Evaluation我们需要评估文档检索上下文的精确度和召回率和生成阶段忠实度和答案相关性。可以使用工具Ragas和DeepEval来简化这一过程。四. 高级 RAG现实生活中的应用可能需要复杂的流程包括 SQL 或图数据库以及自动选择相关工具和 API。查询构建Text-to-SQL存储在传统数据库中的结构化数据需要特定的查询语言如 SQL、Cypher、元数据等。我们可以直接将用户指令翻译成查询语言以查询构建方式访问数据。代理和工具Agents and tools代理通过自动选择最相关的工具来增强 LLM 的功能以提供答案。这些工具可以简单到使用 Google 或 Wikipedia也可以复杂到使用 Python 解释器或 Jira。后处理Post-processingcontext ing喂给 LLM 的输入的最终处理步骤。它通过重排序、RAG-融合 和分类来提高检索文档的相关性和多样性。【大模型应用开发极简入门】agent之前Function Calling将自然语言转换为API调用或数据库查询五. 推理优化ing文本生成是一个成本高昂的过程需要昂贵的硬件。除了量化还提出了各种技术来最大化吞吐量和减少推理成本。快速注意力Flash Attention优化注意力机制将其复杂性从二次方降低到线性加速训练和推理。键值缓存Key-value cache了解键值缓存及在 多查询注意力MQA和分组查询注意力GQA中引入的改进。推测性解码Speculative decoding使用小模型产生草稿然后由更大的模型复审以加速文本生成。六. 生产化部署 LLM在多个GPU 集群上部署 LLM 是一项工程壮举。在其他场景中演示和本地应用可以通过更低的复杂性来实现。本地部署本地 LLM 服务器如 LM Studio、Ollama、oobabooga、kobold.cpp 等可以为本地应用提供动力。演示部署像 Gradio 和 Streamlit 这样的框架有助于原型应用的开发和演示分享。你也可以轻松地在线托管它们例如使用 Hugging Face Spaces。服务器部署在大规模部署 LLM 需要云参见 SkyPilot或本地基础设施并且经常利用优化的文本生成框架如 TGI、vLLM 等。边缘部署在受限环境中如 MLC LLM 和 mnn-llm 这样的高性能框架可以在网络浏览器、Android 和 iOS 中部署 LLM。七. 加固LLM由于LLM的训练和提示方式它们存在如下弱点提示攻击与提示工程相关的不同技术包括提示注入额外的指令以劫持模型的答案、数据/提示泄露检索其原始数据/提示和越狱制作提示以绕过安全特性。后门攻击向量可以直接针对训练数据本身通过污染训练数据例如使用错误信息或创建后门在推理期间改变模型行为的秘密触发器。防御措施保护您的LLM应用程序的最佳方式是对这些漏洞进行测试例如使用红队测试和像garak这样的检查并在生产中观察它们使用像langfuse这样的框架。参考https://zhuanlan.zhihu.com/p/690025227https://github.com/mlabonne/llm-course/
