阿里千问开源超大规模 MoE 模型 Qwen3.8-2.4T-A95B沐曦股份与众智FlagOS合作率先完成对该模型的Day 0 适配实现基于沐曦GPU硬件环境下的推理部署验证。这充分展示出了沐曦股份软硬件协同的兼容优势与生态合作的协同作用。本次发布的 Qwen3.8-2.4T-A95B 是阿里千问开源模型系列中规模最大、能力最强的一代首次将 Qwen-Max 级别的模型开放出来。主要特性超大规模 MoE 架构总参数 2.4T激活参数 95B纯文本模型编程、专业工作、科研、长程智能体任务显著提升支持 reasoning_effort 调节推理深度preserve_thinking 保留历史推理原生 262,144 tokens可扩展至 1,010,000提供 BF16 / FP8 权重兼容 vLLM、SGLang、TokenSpeed等在 Coding Agent 相关基准测试中Qwen3.8-Max 相比 Qwen3.7-Max 有明显提升Terminal Bench 2.1 从 74.5 升至 86.6SWE-bench Pro 从 60.6 升至 67.7接近 Opus 4.869.2PaperBench 从 64.8 升至 93.0并超过 Opus 4.880.3。MXMACA软件栈是沐曦GPU从“可用” 进阶为 “好用、易用”的核心基石。作为连接硬件算力与上层应用生态的核心枢纽MXMACA软件栈全链路覆盖底层驱动、用户态接口、MXCC编译器、算子深度适配及主流训练/推理框架对接原生兼容国际主流生态适配 PyTorch、TensorFlow、vLLM与SGLang等 40 余种主流 AI 框架支持 500 AI 模型稳定运行大幅缩短传统模型适配周期。目前FlagOS已经完成针对Qwen3.8-2.4T-A95B开源模型的精度对齐与部署验证开发者可直接获取开箱即用方案。未来沐曦股份将持续推进GPU硬件与全栈软件技术的迭代升级深化与FlagOS等人工智能企业的生态协作以Day 0适配为标准持续完善“国产芯片-国产大模型-产业落地”的完整技术链条。共同打造从底层算力到上层应用的无缝衔接生态为人工智能技术在各行各业的规模化落地提供坚实支撑。开发者速用指南FlagOS 为 Qwen3.8-2.4T 提供了沐曦GPU的推理插件包括 vLLM-plugin-FL 和 SGLang-plugin-FL 两种推理框架插件。目前在 FlagOS 推理插件的支持下沐曦股份完成 Qwen3.8-2.4T 的推理部署及评测验证业务代码与标准调用接口无需修改。使用源码安装部署可参考以下官方文档1、vLLM-plugin-FLGitHubhttps://github.com/flagos-ai/vllm-plugin-FL/blob/main/README.mdGitCodehttps://gitcode.com/flagos-ai/vllm-plugin-FL/blob/main/README.md2、SGLang-plugin-FLGitHubhttps://github.com/flagos-ai/sglang-plugin-FL/blob/main/README.mdGitCodehttps://gitcode.com/flagos-ai/sglang-plugin-FL/blob/main/README.mdFlagOS 安装部署快速安装以 vLLM 为例安装步骤如下Shell # 1. 安装 vLLM git clone gitgithub.com:vllm-project/vllm.git cd vllm git checkout v0.24.0 VLLM_TARGET_DEVICEempty pip install -v --no-build-isolation --no-deps # 2. 安装 vllm-plugin-FL git clone https://github.com/flagos-ai/vllm-plugin-FL cd vllm-plugin-FL git checkout v0.3.0-dev pip install --no-build-isolation -e . # 3. 安装 FlagGems 算子库 git clone https://github.com/flagos-ai/FlagGems cd FlagGems git checkout v5.3.0 pip install --no-build-isolation -e . # 4. (可选) 安装 FlagTree 跨芯编译器 # 5. (可选) 安装 FlagCX 跨芯通信库 # 详见 https://github.com/flagos-ai/FlagCX运行推理以下为沐曦平台 INT8 版本的示例模型路径、tensor_parallel_size、max_num_batched_tokens、max_num_seqs 等参数需按卡数与服务配置调整Python from vllm import LLM, SamplingParams prompts [请介绍下阿里巴巴开源最新模型QWen3.8] sampling_params SamplingParams(max_tokens10, temperature0.0) llm LLM( modelFlagRelease/Qwen3.8-2.4T-A95B-INT8-metax-FlagOS, max_num_batched_tokens8192, max_num_seqs32, tensor_parallel_size16, pipeline_parallel_size2) outputs llm.generate(prompts, sampling_params) for output in outputs: print(fPrompt: {output.prompt!r}) print(fGenerated: {output.outputs[0].text!r})双方合作的模型适配版本链接见下欢迎体验魔搭平台https://modelscope.cn/models/FlagRelease/Qwen3.8-2.4T-A95B-INT8-metax-FlagOSHuggingFacehttps://huggingface.co/FlagRelease/Qwen3.8-2.4T-A95B-INT8-metax-FlagOS
