AI学习记录 02 初识 微调今天学习 AI 相关的基础知识主要了解了 微调 的概念。作为AIGC技术的基础支撑大模型在自然语言处理领域展现出惊人的能力随着大模型技术的日益成熟探索AI在千行百业的落地正在被越来越多的群体关注。大语言模型大语言模型LLM是一种专注于处理语言数据的人工智能模型通过分析和学习海量文本数据来掌握语言的语法、语义和上下文关系从而实现自然语言的理解与生成。预训练好的大模型已经有了一定的知识和能力但在面对特定任务时可能还需要进一步的调整和优化。这个时候就需要用到大模型精调大模型精调精调Fine-Tuning是在一个已经训练好的模型基础上针对特定任务进行进一步训练使其在该任务上表现更好。这就像是让已经接受过基础教育的人去参加一个特定领域的培训课程以便在这个领域表现得更好1.数据准备数据准备是精调过程中非常重要的一步。你需要收集和整理与特定任务相关的数据集。这些数据集应该尽可能地多样化和全面以便模型能够学习到各种不同的情况和模式。星辰MaaS针对不同场景提供多种数据构建功能基于人机协作的工具可以大幅提升高质量数据集构建的效率。2.模型选择在数据准备好之后你需要选择一个合适的预训练模型进行精调。不同的任务可能需要不同的模型你需要根据具体情况来选择。讯飞星辰MaaS以星火优质大模型为核心扩展支持主流开源大模型为用户提供更多选择3.训练方式LoRA部分参数精调每次只会对模型新增的少量数据即可进行更新这种方法旨在减少计 算 资源和存储需求同时保持较高的性能还减少了过拟合的风险所需数据和训练时长相 对全量精调少很多全量精调这种方式充分利用了基础模型的表示能力通过调整所有参数使其更好地适应特定任务在 全量精调过程中所有模型参数都会被优化这意味着模型的每一层都会根据特定任务的数 据进行调整4.效果评估训练完成后需要对模型进行评估以确定模型在特定任务上的表现以此来判断是否需要持续迭代。5.模型部署微调后的模型可以按需发布为API/SDK服务提供标准开放、即用即销模式赋能创新。可以接入已有产品使用可以开发创新产品也可以在讯飞开放平台面向行业开放共享百万开发者生态。
