从0到1：Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K快速上手指南

从0到1Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K快速上手指南【免费下载链接】Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16KQwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K是一款专为AMD Ryzen AI优化的高效代码生成模型采用先进的量化技术和NPU部署优化支持16K上下文长度为开发者提供强大的代码辅助能力。 什么是Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16KQwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K是基于Qwen2.5系列模型优化的代码专用版本通过Quark量化技术和OGA模型构建器处理最终针对NPU部署进行了专门优化特别支持Token Fusion 16K上下文长度让代码生成更流畅、更高效。核心特性一览高效量化策略采用AWQ量化方法Group 128非对称量化BFP16激活值和UINT4权重在保证性能的同时大幅降低资源占用NPU优化部署专为AMD Ryzen AI架构优化支持混合计算模式充分发挥硬件加速能力超长上下文支持通过Token Fusion技术实现16K上下文长度轻松处理大型代码库和复杂编程任务轻量级设计1.5B参数规模平衡性能与资源需求适合本地部署和边缘计算场景 准备工作环境要求与安装步骤系统要求硬件搭载AMD Ryzen AI NPU的处理器如Ryzen 7000系列及以上移动处理器操作系统支持Ryzen AI的64位Windows或Linux系统软件依赖ONNX Runtime 1.16.0及以上Ryzen AI软件栈包括Vitis AI和相关驱动Python 3.8-3.11环境快速安装指南克隆项目仓库git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K cd Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K安装依赖包pip install onnxruntime-genai ryzen-ai-python验证安装python -c import onnxruntime_genai as og; print(ONNX Runtime GenAI version:, og.__version__) 开始使用基础操作指南加载模型使用ONNX Runtime GenAI加载模型非常简单import onnxruntime_genai as og model og.Model(model.onnx) tokenizer og.Tokenizer(model)基本代码生成以下是一个简单的代码生成示例prompt 编写一个Python函数实现快速排序算法 input_ids tokenizer.encode(prompt) params og.GeneratorParams(model) params.set_input_ids(input_ids) params.set_search_options(max_length1024, temperature0.7, top_p0.8) output og.Generator(model, params) output.generate() generated_text tokenizer.decode(output.get_output_ids()) print(generated_text)配置优化参数通过修改genai_config.json文件可以调整模型生成参数主要优化选项包括max_length: 生成文本的最大长度默认为16384temperature: 控制生成文本的随机性值越高越随机0-1top_p: 核采样参数控制生成的多样性0-1repetition_penalty: 控制重复内容的惩罚力度⚙️ 高级配置充分利用NPU性能混合计算模式设置Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K支持NPU和CPU混合计算模式通过修改genai_config.json中的provider_options可以优化性能provider_options: [ { RyzenAI: { hybrid_opt_max_seq_length: 16384, hybrid_opt_chunk_context: 1, external_data_file: model.pb.bin, hybrid_opt_token_backend: npu, max_length_for_kv_cache: 16384 } } ]上下文窗口管理对于超长文本处理可以通过调整上下文窗口管理策略来优化性能# 设置滑动窗口大小 params.set_sliding_window(2048) # 启用动态缓存 params.enable_dynamic_cache(True) 模型文件说明项目中包含以下关键文件模型文件model.onnx: ONNX格式模型文件model.onnx.data: 模型权重数据optimized_model.onnx: 优化后的ONNX模型配置文件genai_config.json: 生成配置参数config.json: 模型基本配置tokenizer_config.json: 分词器配置分词器文件tokenizer.json: 分词器定义vocab.json: 词汇表added_tokens.json: 额外添加的 tokensspecial_tokens_map.json: 特殊 tokens 映射❓ 常见问题解答Q: 模型支持哪些编程语言A: Qwen2.5-Coder主要针对通用编程语言优化包括Python、JavaScript、Java、C、Go等主流语言尤其在Python和Web开发领域表现出色。Q: 如何提高生成代码的质量A: 可以尝试以下方法提供更详细的函数描述和参数说明适当降低temperature值如0.5-0.7使用更具体的示例代码作为提示增加上下文信息提供相关代码片段Q: 模型在普通CPU上可以运行吗A: 是的模型可以在CPU上运行但性能会明显低于NPU加速版本。建议在支持Ryzen AI的硬件上使用以获得最佳体验。 许可证信息本项目基于MIT许可证开源版权所有 (c) 2025 Advanced Micro Devices, Inc特此免费授予任何获得本软件和相关文档文件软件副本的人无限制地处理软件的权利包括但不限于使用、复制、修改、合并、出版、分发、再许可和/或出售软件副本的权利并允许向其提供软件的人这样做须符合以下条件上述版权声明和本许可声明应包含在软件的所有副本或主要部分中。基础模型基于Apache License 2.0许可证发布详情请参见项目中的许可证文件。 进一步学习资源有关Ryzen AI的更多信息请参考Ryzen AI官方文档ONNX Runtime GenAI使用指南官方文档Qwen2.5模型系列介绍官方项目页面【免费下载链接】Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考