目标环境宿主机 Ubuntu 22.04GPU 为 Tesla V100Voltasm_70运行方式Docker 容器CUDA 12.8 镜像内编译并启动 Strata 服务模型Qwen3.8-Flash-Next-GSQ-RCO-GGUF-IQ2_XS目录步骤内容步骤 1创建容器CUDA 12.8 镜像走 HF 镜像源步骤 2工具链编译器 Python步骤 3第三方依赖 llama.cpp固定 commit步骤 4环境变量与模型路径步骤 5首次安装编译 下载 拉取 MTP只装不启动步骤 6启动服务步骤 7测试接口关键约定约定 1端口一致性启动时的--port与测试时的端口必须一致。本文全文统一使用28199。约定 2GPU 架构V100 是 Voltasm_70CUDA 13 编译的引擎**并设置STRATA_EXPERIMENTAL_SM601。约定 3路径一致性--gguf-dir与软链接必须指向同一个目录两处保持一致。步骤 0 | 环境准备/home/strata/Qwen3.8-Flash-Next-GSQ-RCO-GGUF-IQ2_XS mmproj-Qwen3.8-Flash-Next-BF16.gguf Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS-00001-of-00002.gguf Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS-00002-of-00002.gguf 下载地址https://hf-mirror.com/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF/tree/main步骤 1创建容器# --network host容器共用宿主机网络端口可被局域网访问# -v /home/strata:/host模型与 Strata 目录持久化容器重启不丢数据dockerrun-it--namestrata-v100--gpusall\--ulimitmemlock-1:-1 --shm-size32g--networkhost\-v/home/strata:/host-w/host/Strata\-eHF_ENDPOINThttps://hf-mirror.com\-eSTRATA_NVCC/usr/local/cuda/bin/nvcc\docker.1ms.run/nvidia/cuda:12.8.2-devel-ubuntu24.04bash容器创建后后续进入容器无需再rundockerstart strata-v100dockerexec-itstrata-v100bash步骤 2工具链编译器 Pythonapt-getupdateapt-getinstall-y--no-install-recommends\build-essentialgitcurlunzipca-certificates libatomic1\python3 python3-pip python3-venvexportPIP_INDEX_URLhttps://pypi.tuna.tsinghua.edu.cn/simple pip3installcmake3.24ninja步骤 3第三方依赖 llama.cpp固定 commit3cf03257f219afbe7334045ff7c6a06ac68c627d走gh-proxy加速。# 若 /host/Strata 还不存在# git clone https://github.com/Niko1221/Strata /host/Stratacd/host/Stratamkdir-pthird_partycdthird_partycurl-L-o/tmp/l.zip\https://gh-proxy.com/https://github.com/ggml-org/llama.cpp/archive/3cf03257f219afbe7334045ff7c6a06ac68c627d.zipunzip-q/tmp/l.zip-d/tmp/uurm-rfllama.cppmv/tmp/uu/llama.cpp-3cf03257* llama.cpp可以自己手动下载 llama.cpp替换以上代码。校验解压是否完整lsllama.cpp/ggml/CMakeLists.txt llama.cpp/gguf-py-d步骤 4环境变量与模型路径cd/host/StrataexportSTRATA_NVCC/usr/local/cuda/bin/nvccexportHF_ENDPOINThttps://hf-mirror.com# 缺它 MTP 那步会去 huggingface.co然后 Network is unreachableGGUF 软链接下面的--gguf-dir必须指向同一个目录ln-sfn/models/GGUF_LIST/Qwen3.8-Flash-Next-GSQ-RCO-GGUF-IQ2_XS /home/strata/qwen3.8-next-iq2-xsV100 是 Voltasm_70CUDA 13 已不支持必须用 CUDA 12 编译的引擎exportSTRATA_EXPERIMENTAL_SM601驱动要求CUDA 12 需要驱动525 以上CUDA 13 需要 580。在宿主机上确认aptlist--installednvidia-driver*# 不够则sudoaptinstallnvidia-driver-580sudorebootSun Oct 11 10:57:47 2026 ----------------------------------------------------------------------------------------- | NVIDIA-SMI 580.178.04 Driver Version: 580.178.04 CUDA Version: 13.0 | --------------------------------------------------------------------------------------- | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | || | 0 Tesla PG503-216 On | 00000000:04:00.0 Off | 0 | | N/A 33C P0 39W / 300W | 32126MiB / 32768MiB | 0% Default | | | | N/A | ---------------------------------------------------------------------------------------步骤 5首次安装编译 下载 拉取 MTP只装不启动进入容器dockerstart strata-v100dockerexec-itstrata-v100bash设置环境exportSTRATA_EXPERIMENTAL_SM601exportPIP_INDEX_URLhttps://mirrors.cloud.tencent.com/pypi/simple执行安装./setup.sh--build\--familyqwen--modelIQ2_XS\--gguf-dir /host/Qwen3.8-Flash-Next-GSQ-RCO-GGUF-IQ2_XS\--gpu0--context262144\--visiongpu\--port28199--host0.0.0.0 --api-key123456\--yes--no-start这里目前有7步已经下载模型文件后续步骤会自动跳过。 在下载MTP模型文件时需要下载5G会比较慢如HF_ENDPOINT不起作用可以修改strata_pack.py代码步骤 6启动服务已下载 / 已编译的部分会自动跳过。./setup.sh--port28199步骤 7测试接口端口必须与启动时一致--port 28199以下测试均使用28199。7.1 确认模型名称下面的--model/model字段要用它返回的名字。curlhttp://127.0.0.1:28199/v1/models-HAuthorization: Bearer 1234567.2 非流式对话curlhttp://127.0.0.1:28199/v1/chat/completions\-HContent-Type: application/json\-HAuthorization: Bearer 123456\-d{model:qwen3.8-flash-next,messages:[{role:user,content:你好用一句话介绍你自己}],stream:false}7.3 流式对话curl-Nhttp://127.0.0.1:28199/v1/chat/completions\-HContent-Type: application/json\-HAuthorization: Bearer 123456\-d{model:qwen3.8-flash-next,messages:[{role:user,content:写个快速排序 java 和 python 不同版本}],stream:true}7.4 流式参数下的单轮请求curl-Nhttp://127.0.0.1:28199/v1/chat/completions\-HContent-Type: application/json\-HAuthorization: Bearer 123456\-d{model:qwen3.8-flash-next,messages:[{role:user,content:写个快速排序 java}],stream:false}8 执行界面http://192.168.31.1:28199/补充-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS速度 70T/SCPU 50%内存 45G显存 32GStrata版 0.1.45附录参数速查参数说明--gpus all容器内可见全部 GPU--ulimit memlock-1:-1解除内存锁定限制--shm-size32g共享内存大小--network host共用宿主机网络便于局域网访问-v /home/strata:/host模型与 Strata 目录持久化HF_ENDPOINTHF 镜像源避免Network is unreachableSTRATA_NVCCCUDA 编译器路径STRATA_EXPERIMENTAL_SM60允许在sm_70V100上编译运行--family qwen --model IQ2_XS模型家族与量化档位--context 262144上下文长度--vision gpu视觉模型使用 GPU--host 0.0.0.0监听所有网卡--api-key接口鉴权密钥--yes --no-start免交互仅安装不启动附录常见问题端口不匹配connection refused时先核对--port与 curl 端口是否一致。模型名报错先跑/v1/models用返回值替换model字段。MTP 下载失败检查HF_ENDPOINT是否已导出为https://hf-mirror.com。编译报错架构不支持确认使用 CUDA 12 镜像且已设置STRATA_EXPERIMENTAL_SM601。
