AMD-Quark量化工具入门手把手教你将GLM-5转换为NVFP4格式【免费下载链接】GLM-5-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/GLM-5-NVFP4AMD-Quark量化工具是一款高效的模型优化工具能够将GLM-5模型转换为NVFP4格式显著提升模型在AMD硬件上的运行效率。本文将为你提供详细的操作指南帮助你轻松完成模型量化过程。什么是NVFP4格式NVFP4是一种专为AMD硬件优化的量化格式能够在保持模型性能的同时大幅减少模型大小和计算资源消耗。通过将模型权重和激活值量化为NVFP4格式可以有效提升模型的推理速度降低内存占用。准备工作在开始量化之前确保你的系统满足以下要求操作系统LinuxROCm版本7.2.2PyTorch版本2.10.0Transformers版本5.2.0硬件要求AMD MI300/MI350/MI355或支持模拟的设备首先克隆项目仓库git clone https://gitcode.com/hf_mirrors/amd/GLM-5-NVFP4量化步骤1. 环境配置设置系统参数确保足够的内存映射空间sudo sysctl -w vm.max_map_count41943042. 进入量化脚本目录cd Quark/examples/torch/language_modeling/llm_ptq/3. 设置环境变量export CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7 export MODEL_DIRzai-org/GLM-5 export output_diramd/GLM-5-NVFP44. 执行量化命令exclude_layers*self_attn* *mlp.gate *lm_head *mlp.gate_proj *mlp.up_proj *mlp.down_proj python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme nvfp4 \ --num_calib_data 128 \ --exclude_layers $exclude_layers \ --model_export hf_format \ --output_dir $output_dir \ --multi_gpu balanced量化配置详解量化过程中我们使用了以下关键配置来自config.json量化方案NVFP4校准数据量128排除层注意力层、MLP门控层等关键组件权重量化MOE-only, NVFP4, Static激活量化MOE-only, NVFP4, Dynamic这些配置确保了在量化过程中不会损失关键层的性能同时最大化量化收益。部署与评估使用vLLM部署量化后的模型可以通过vLLM高效部署export VLLM_ALLOW_LONG_MAX_MODEL_LEN1 export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_MLA1 export CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7 export PYTORCH_ALLOC_CONFexpandable_segments:True lm_eval \ --model vllm \ --model_args pretrainedamd/GLM-5-NVFP4,tensor_parallel_size8,max_model_len4096,gpu_memory_utilization0.90,enforce_eagerTrue,max_gen_toks2048,kv_cache_dtypebfloat16,trust_remote_codeTrue \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto性能评估在GSM8K基准测试中量化后的模型表现优异基准测试GLM-5GLM-5-NVFP4恢复率GSM8K (flexible-extract)95.4595.2299.75%这表明NVFP4量化在几乎不损失性能的情况下显著提升了模型效率。总结通过AMD-Quark工具将GLM-5模型转换为NVFP4格式是一个简单而高效的过程。只需按照本文提供的步骤你就能轻松完成模型量化并在AMD硬件上获得出色的性能表现。赶快尝试一下体验量化带来的效率提升吧参考资料量化脚本quantize_quark.py模型配置config.json生成配置generation_config.json【免费下载链接】GLM-5-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/GLM-5-NVFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
