vLLM加速BU-30B-A3B-Preview：提升10倍推理速度的配置与优化技巧

vLLM加速BU-30B-A3B-Preview提升10倍推理速度的配置与优化技巧BU-30B-A3B-Preview是一款具备SoTA Browser Use能力的轻量级模型可在单GPU上部署运行。它基于Qwen/Qwen3-VL-30B-A3B-Instruct构建拥有300亿总参数其中30亿为活跃参数的MoE架构和32768 tokens的上下文长度能提供全面的浏览功能以及卓越的DOM理解和视觉推理能力。而借助vLLM这款模型的推理速度可获得显著提升达到10倍的加速效果。快速安装vLLM环境要使用vLLM加速BU-30B-A3B-Preview模型首先需要确保安装vllm 0.12.0版本。打开终端执行以下命令进行安装或升级pip install vllm --upgrade基础启动命令与参数配置完成vLLM的安装后就可以通过简单的命令启动服务。一个基础的启动命令如下vllm serve browser-use/bu-30b-a3b-preview \ --max-model-len 32768 \ --host 0.0.0.0 \ --port 8000这条命令会在本地创建一个与OpenAI兼容的端点其中--max-model-len 32768参数的设置与模型32768 tokens的上下文长度相匹配确保模型能充分发挥其处理长文本的能力。提升推理速度的关键优化技巧合理设置温度和Top-P参数在调用模型时合理设置温度temperature和Top-P参数可以在保证输出质量的同时提升推理速度。例如llm ChatOpenAI( base_urlhttp://localhost:8000/v1, modelbrowser-use/bu-30b-a3b-preview, temperature0.6, top_p0.95, dont_force_structured_outputTrue, # 禁用结构化输出以加速 )其中dont_force_structured_outputTrue通过禁用结构化输出能有效加快推理速度。利用vLLM的高效推理特性vLLM采用了PagedAttention技术这一技术能够高效管理KV缓存减少内存占用并提高吞吐量从而大幅提升BU-30B-A3B-Preview模型的推理速度。在使用vLLM启动服务时无需额外配置PagedAttention技术会自动生效。本地调用vLLM加速模型的示例代码成功启动vLLM服务后可以通过以下Python代码调用加速后的BU-30B-A3B-Preview模型from dotenv import load_dotenv from browser_use import Agent, ChatOpenAI load_dotenv() llm ChatOpenAI( base_urlhttp://localhost:8000/v1, modelbrowser-use/bu-30b-a3b-preview, temperature0.6, top_p0.95, dont_force_structured_outputTrue, # 加速推理 ) agent Agent( taskFind the number of stars of browser-use and stagehand. Tell me which one has more stars :), llmllm, ) agent.run_sync()模型部署与使用的注意事项硬件要求虽然BU-30B-A3B-Preview可在单GPU上部署但为了获得更流畅的推理体验建议使用显存较大的GPU如NVIDIA A100等。版本兼容性务必确保vLLM的版本不低于0.12.0以保证与模型的兼容性和最佳的加速效果。网络环境在安装vLLM和拉取模型时需要稳定的网络环境以避免因网络问题导致安装或拉取失败。通过以上配置和优化技巧你可以充分利用vLLM的强大能力将BU-30B-A3B-Preview模型的推理速度提升10倍从而更高效地进行浏览器相关的任务处理和应用开发。如果你想进一步了解模型的详细信息可以查看项目中的README.md文件。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考