一、Qwen3.5 简介Qwen3.5系列是阿里巴巴通义实验室于2026年2月发布的最新迭代大模型属于原生视觉-语言模型在推理、编程、智能体能力与多模态理解等全方位基准评估中表现优异有效助力开发者与企业显著提升生产力。下面是Qwen3不同尺寸模型具体的基准测试结果可以发现轻量级的Qwen3.5-27B在多项权威基准测试中展现出超越部分更大规模模型的卓越性能整体表现比肩GPT-5-mini 2025-08-27模型。1. 自然语言2. 视觉语言这里未展示出全部测试结果更多介绍可以关注官方博客官方介绍博客地址: https://qwen.ai/blog?idqwen3.5下面主要借助vLLM计算引擎本地私有化部署Qwen3.5-27B模型其中核心依赖版本如下vllm0.16.1rc1.dev37g4fec53cfctorch2.10.0cu129torchvision0.25.0cu129transformers4.57.6modelscope1.34.0二、Qwen3.5-27B 本地部署2.1 安装 vLLMuv pipinstallvllm --torch-backendauto --extra-index-url https://wheels.vllm.ai/nightly安装结束后可验证是否安装正常vllm-v2.2 下载模型这里使用modelscope快速下载到本地modelscope download--modelQwen/Qwen3.5-27B--local_dirQwen3.5-27B2.3 启动API服务exportCUDA_VISIBLE_DEVICES0,1vllm serveQwen3.5-27B\--host0.0.0.0\--port8000\--dtypebfloat16\--tensor-parallel-size2\--cpu-offload-gb0\--gpu-memory-utilization0.8\--max-model-len32768\--api-key token-abc123\--enable-prefix-caching\--reasoning-parser qwen3\--enable-auto-tool-choice\--tool-call-parser qwen3_coder\--trust-remote-code关键参数说明参数说明export CUDA_VISIBLE_DEVICES0,1指定使用的GPU设备dtype数据类型其中bfloat1616位浮点数适合NVIDIA A100等设备tensor-parallel-sizeTensor并行的数量当多GPU分布式推理时使用建议和GPU的数量一致cpu-offload-gb允许将部分模型权重或中间结果卸载到CPU的内存中单位为GB。模拟GPU内存扩展如果部署的模型大于了显存大小可以设置该参数但是推理速度会大大下降gpu-memory-utilization设置GPU内存利用率的上限max-model-len允许模型最大处理的Token数该参数越大占用显存越大api-keyAPI认证密钥enable-prefix-caching启用前缀缓存减少重复计算reasoning-parser指定推理解析器enable-auto-tool-choice启用自动工具选择tool-call-parser工具调用解析器显存使用情况如果启动显存不足可适当调整gpu-memory-utilization和max-model-len参数或通过cpu-offload-gb将部分模型权重卸载到内存中。启动后可通过/v1/models接口可查看模型列表curlhttp://127.0.0.1:8000/v1/models-HAuthorization: Bearer token-abc123三、Qwen3.5-27B 模型使用测试3.1 curl 连接测试测试API交互curlhttp://127.0.0.1:8000/v1/chat/completions\-HContent-Type: application/json\-HAuthorization: Bearer token-abc123\-d{ model: Qwen3.5-27B, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 你是谁你认识小毕超吗} ] }Qwen3.5模型默认以思考模式运行在生成最终回答前会输出由think\n...\/think\n\n标记的思考内容该过程已由计算引擎自动转换思考内容在reasoning字段中体现。Qwen3.5不支持类似Qwen3的软切换功能如/think和/nothink。如果需要禁用思考直接输出最终回答可在请求体中添加参数chat_template_kwargs:{enable_thinking:false}完整的请求如下所示curlhttp://127.0.0.1:8000/v1/chat/completions\-HContent-Type: application/json\-HAuthorization: Bearer token-abc123\-d{ model: Qwen3.5-27B, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 你是谁你认识小毕超吗} ], chat_template_kwargs: {enable_thinking: false} }3.2 Python OpenAI 连接测试fromopenaiimportOpenAI clientOpenAI(base_urlhttp://127.0.0.1:8000/v1/,api_keytoken-abc123)chat_responseclient.chat.completions.create(modelQwen3.5-27B,messages[{role:system,content:You are a helpful assistant.},{role:user,content:你是谁你认识小毕超吗}],max_tokens1024,temperature0.7,top_p0.8,presence_penalty1.5,extra_body{top_k:20,chat_template_kwargs:{enable_thinking:False},},)print(Chat response:,chat_response)3.3 Python LangChain连接测试importos os.environ[OPENAI_BASE_URL]http://127.0.0.1:8000/v1/os.environ[OPENAI_API_KEY]token-abc123from langchain.chat_modelsimportinit_chat_model llminit_chat_model(fopenai:Qwen3.5-27B,temperature0.7,extra_body{chat_template_kwargs:{enable_thinking:False}})print(Chat response:, llm.invoke(你是谁你认识小毕超吗))3.4 Cherry Studio 连接测试添加一个OpenAI类型提供商配置API地址和密钥然后点击管理增加模型选用该模型问答3.5 图片理解测试
