Qwen3.6-27B 是 Qwen 团队发布的稠密模型采用带视觉编码器的因果语言模型架构。官方模型说明重点介绍了Agentic Coding智能体编程与Thinking Preservation保留历史推理上下文两项改进面向代码开发和多轮交互等使用场景。我们先来看一下 ModelScope 官方模型页给出的关键规格属性数值或说明模型类型带视觉编码器的因果语言模型支持视觉与文本输入语言模型参数量27B稠密结构训练阶段预训练 后训练网络层数64 层隐藏维度5120混合结构16 组每组由 3 个 Gated DeltaNet → FFN 单元与 1 个 Gated Attention → FFN 单元组成原生上下文长度262,144 Tokens扩展上下文长度最高可扩展至 1,010,000 Tokens需按模型说明配置多 Token 预测MTP采用多步训练模型文件格式Hugging Face Transformers 格式的权重与配置文件兼容工具与框架Transformers、vLLM、SGLang、KTransformers 等以上为官方模型规格。本文在海光服务器上验证文本对话推理实际服务上下文设置为32768 Tokens具体部署配置与实测结果见下文。一、在海光服务器上部署 Qwen3.6-27B本次采用的流程是安装 GPUStack → 接入海光 Worker → 添加自定义 vLLM 后端 → 部署本地模型。Server 与 Worker 位于同一台服务器模型由独立的推理容器加载运行。本次实测环境如下属性配置硬件环境8 卡 BW1000 服务器单卡显存约 63.98 GiB管理平台GPUStack v2.2.3模型Qwen/Qwen3.6-27B推理后端自定义 vLLM 0.23.0 DTK 26.04 镜像推理方式FP168 卡张量并行模型目录/data/models/Qwen3.6-27B服务上下文长度32768 Tokens① 安装 GPUStack接入海光节点先确认宿主机已安装 Docker、海光驱动及 DTK并且hy-smi可以正常显示设备。然后创建数据目录拉取并启动 GPUStack v2.2.3mkdir-p/data/gpustack /data/modelsdockerpull quay.io/gpustack/gpustack:v2.2.3dockerrun-d--namegpustack\--restartunless-stopped\-p80:80\--volume/data/gpustack:/var/lib/gpustack\--volume/data/models:/data/models\quay.io/gpustack/gpustack:v2.2.3启动后检查容器日志并获取初始管理员密码dockerlogs--tail100gpustackdockerexecgpustackcat/var/lib/gpustack/initial_admin_password浏览器访问http://SERVER_IP登录。进入Resources → Clusters → Add Cluster创建BW1000集群Provider 选择Docker。随后进入Resources → Workers → Add Worker选择该集群GPU Vendor 选择HYGON。按页面提示完成驱动检查填写 Worker IP并设置以下目录映射GPUStack 数据目录/data/gpustack→/var/lib/gpustack。模型目录/data/models→/data/models。将页面生成的注册命令复制到 Worker 宿主机执行。本次最终使用的 Worker 配置如下地址和注册 Token 请替换为当前环境的实际值sudodockerrun-d--namegpustack-worker\-eGPUSTACK_RUNTIME_DEPLOY_MIRRORED_NAMEgpustack-worker\-eGPUSTACK_TOKENWORKER_REGISTRATION_TOKEN\-eGPUSTACK_RUNTIME_DEPLOY_MIRRORED_DEPLOYMENT_IGNORE_ENVIRONMENTSROCM_PATH\--restartunless-stopped\--privileged\--networkhost\--volume/var/run/docker.sock:/var/run/docker.sock\--volume/data/gpustack:/var/lib/gpustack\--volume/data/models:/data/models\--volume/opt/hyhal:/opt/hyhal:ro\--volume/opt/dtk:/opt/dtk:ro\--envROCM_PATH/opt/dtk/.hyhal\--envROCM_SMI_LIB_PATH/opt/hyhal/lib\quay.io/gpustack/gpustack:v2.2.3\--server-url http://SERVER_IP\--worker-ipWORKER_IP上述 DTK 路径与环境变量来自本次部署记录。Worker 的设备检测环境与推理镜像内的运行环境需要分别核对新环境以页面生成的命令和实际安装路径为准。Worker 启动后在Resources → Workers中确认状态为Ready在Resources → GPUs中检查卡数与显存。本次平台成功识别全部8 张 DCU。② 进入「推理后端」先添加海光适配的 vLLM 版本关键顺序先添加自定义推理后端部署页面的「后端版本」下拉框才能选择它。进入Model Service → Inference Backends找到vLLM点击编辑在版本配置中选择Add Version版本号填写0.23.0保存后在部署页面显示为0.23.0-custom。镜像名称填写下方完整地址。Framework选择DTK。镜像入口与执行命令保持本案例使用的默认vllm serve及模型路径、Worker IP、端口、服务模型名参数模板。harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm023-ubuntu22.04-dtk26.04-py3.10-20260629-gemma4这就是本次成功加载 Qwen3.6-27B 的镜像保留完整标签便于复现。保存后即可在模型部署页面选择该版本。③ 准备本地模型新建部署本次从 ModelScope 获取Qwen/Qwen3.6-27B完整模型放在 Worker 已挂载的目录/data/models/Qwen3.6-27B下载完成后检查模型配置、Tokenizer、权重索引和全部权重分片。本次目录占用约 52 GB15 个权重分片全部下载完成再创建部署。进入Model Service → Deployments → Deploy Model → Local Path填写NameQwen3.6-27B。Model Path/data/models/Qwen3.6-27B。ClusterBW1000。Backend / Backend VersionvLLM/0.23.0-custom。Replicas1。在Scheduling中选择Manual选中目标 Worker 的 8 张 DCU将GPUs per Replica设置为8。在Advanced → Backend Parameters中逐项添加--dtype float16 --tensor-parallel-size 8 --max-model-len 32768 --gpu-memory-utilization 0.90 --reasoning-parser qwen3需要留意的参数--dtype float16本次使用 FP16 推理日志显示原始 BF16 权重在加载时转换为 FP16。--tensor-parallel-size 8与分配给实例的 8 张卡保持一致。--max-model-len 32768设置本次服务的上下文长度。--gpu-memory-utilization 0.90设置后端使用显存的目标比例。--reasoning-parser qwen3配置推理内容解析器。保存后等待实例进入Running。本次日志确认 15 个权重分片加载完成、8 个 Rank 初始化完成并最终出现Application startup complete。二、验证与调用1. 在 Chat 页面验证对话进入Playground → Chat选择已启动的Qwen3.6-27B输入问题并发送。本次输入“请你介绍一下天津”页面返回了包含基本概况、历史文化等内容的回答如下图所示。2. 通过 API 调用模型在测试网络内可以直接访问模型实例的 OpenAI 兼容接口。先查询模型列表再发送对话请求curl-sShttp://MODEL_SERVICE_IP:PORT/v1/modelscurl-sShttp://MODEL_SERVICE_IP:PORT/v1/chat/completions\-HContent-Type: application/json\-d{ model: Qwen3.6-27B, messages: [ {role: user, content: 你好请简要介绍一下你自己。} ], temperature: 0.1, max_tokens: 1024 }其中MODEL_SERVICE_IP:PORT使用当前实例的实际监听地址和端口model与接口返回的服务模型 ID 保持一致。本次记录中的实例端口为40012重新部署后应查看当前实例信息。通过 GPUStack 统一入口调用时则使用平台提供的地址和 API Key。3. 使用 Benchmark 验证推理性能进入Model Service → Benchmarks → Add Benchmark选择已运行的Qwen3.6-27B实例。本次采用随机数据测试配置如下配置项数值测试策略constant输入 / 输出长度4096 / 1024 Tokens请求速率8 Requests/s总请求数8随机种子42预热 / 冷却0 / 0 秒Benchmark Runnerquay.io/gpustack/benchmark-runner:v0.0.4保存后GPUStack 启动 Benchmark Runner 并执行测试。2026 年 8 月 20 日这轮测试的正式运行时长为83.9 秒实际平均并发为7.9结果如下指标测试结果成功请求数8/8错误 / 未完成请求数0 / 0平均总吞吐量500.1 Tokens/s平均输出吞吐量99.8 Tokens/sTTFT 中位数 / P953926.7 / 10274.3 msTPOT 中位数 / P9580.4 / 80.9 ms单请求端到端延迟中位数 / P9582.8 / 82.9 秒下面是本次测试的实际日志截图其中总吞吐量、输出吞吐量和延迟数据与上表对应以上结果全部对应 Qwen3.6-27B。数值按 Benchmark Runner 报告口径列出500.1 Tokens/s 为平均总吞吐量纯输出吞吐量应查看 99.8 Tokens/s。请求速率 8 Requests/s 与总请求数 8 是两个配置项不能直接等同于固定 8 并发。三、需要注意的事项核对 DTK 路径与镜像适配。本次机器曾同时安装 DTK 25.04.4 与 26.04hipconfig --version显示的是 HIP 版本。应结合安装目录、/opt/dtk的实际指向以及推理镜像核对环境。本案例自定义后端的 Framework 为DTK。模型下载完成后再启动实例。模型路径必须在 Worker 和推理容器中可见配置、Tokenizer 与全部权重分片均应完整。目录尚在下载时启动实例可能读到不完整文件。首次启动需要等待初始化。本次启动曾出现共享内存广播块等待提示随后完成编译torch.compile总耗时约 248.67 秒最终服务正常启动。应结合日志是否推进、设备活动和容器状态判断不能仅凭一条等待提示判定故障。区分准备时间与测试时间。首次拉取 Benchmark Runner 镜像约耗时 13 分钟这部分不计入 83.9 秒的正式测试。本轮共 8 个请求且未预热适合作为部署验证和初始性能基线正式评估需要预热、增加请求量并重复测试。资料来源Qwen3.6-27B 官方模型说明GPUStack 硬件与安装要求vLLM Qwen3.6-27B 部署配方项目组 2026 年 8 月 20 日的 Qwen3.6-27B 测试日志报告、标准部署与测试流程以及部署问题复盘。总结通过 GPUStack我们在海光 BW1000 服务器上完成了节点接入、本地模型部署、对话调用和基准测试。Qwen3.6-27B 使用自定义 vLLM 0.23.0 DTK 26.04 镜像以 FP16、8 卡张量并行方式运行完成了 8/8 请求验证。复现时先确认海光设备识别正常再添加Framework 为 DTK 的自定义 vLLM 版本选择本地模型目录并配置 8 卡调度。实例运行后通过 Chat、API 和 Benchmark 逐步确认服务与测试结果就能完成本文的部署流程。实测参考环境8 卡 BW1000单卡约 63.98 GiB 显存 GPUStack v2.2.3 自定义 vLLM 0.23.0 DTK 26.04 FP16、TP8
