【免费下载链接】MOSS-VLAn open-weight 11B model series for long-form and real-time video understanding项目地址https://gitcode.com/gh_mirrors/mo/MOSS-VL点击查看免费下载MOSS-VL Realtime-Demo 是基于开源多模态模型 MOSS-VL11B 开放权重专为长视频与实时视频理解设计打造的实时视频语音 AI 助手。它通过浏览器与摄像头、屏幕或视频文件对话支持流式字幕、语音提问与回答打断并可选配备语音识别ASR、本地语音合成TTS和会话长期记忆。本文提供一份完整的 MOSS-VL Realtime-Demo 部署指南帮你在自有 GPU 上从零搭建这个全栈应用。一、它能做什么实时视频理解 语音助手Realtime-Demo 不是简单的看图说话而是一个持续运行的流式会话系统。核心能力包括多路输入摄像头、屏幕共享、图片、视频文件流式交互实时字幕、文字/语音提问、随时打断回答可选增强SenseVoice ASR 语音识别、MOSS-TTS-Nano 本地语音合成无需云端凭据会话记忆文本与图像记忆、上下文用量观测、长会话自动 rollover对外接口REST 会话管理 WebSocket 网关方便外部客户端接入它最核心的设计是证据驱动的实时响应——模型会跟随场景变化持续观察画面在证据不足时选择等待而不是抢答。下面这张图展示了三种典型交互模式直接回答、实时适应场景变化、等待证据后回答在模型层面MOSS-VL 通过 Vision Encoder 将带时间戳的视频帧编码后送入 Gated-XAttention LLM Decoder实现跨模态的流式推理完整功能说明可参考 third_party/realtime-demo/README_zh.md 与 third_party/realtime-demo/README.md。二、部署前准备硬件与系统环境检查Realtime-Demo 的完整配置需要两张独立 GPU主 VLM Memory 4B仅部署视频/文本链路则一张 GPU 即可。项目要求操作系统Linux x86_64Python3.12可创建虚拟环境GPUNVIDIA GPU 兼容 CUDA 13 的驱动建议 R580系统工具Git、C/C 编译器、CMake、FFmpeg磁盘基础配置预留 60 GiB全组件预留 120 GiB网络可访问 PyPI、PyTorch、npm、Hugging FaceUbuntu 系统依赖可由管理员安装sudo apt-get update sudo apt-get install -y git build-essential cmake ffmpeg libsndfile1 libnuma1 libibverbs1 python3-venv 注意安装器只负责应用依赖不会替你安装系统软件包或 GPU 驱动。完整的前置条件说明见 third_party/realtime-demo/deployment/repro/README.md。三、一键安装bootstrap.sh 快速配置先获取代码并进入 Demo 目录git clone https://gitcode.com/gh_mirrors/mo/MOSS-VL cd MOSS-VL/third_party/realtime-demo在 Demo 根目录执行三步安装bash bootstrap.sh --doctor-only # 第 1 步环境自检 bash bootstrap.sh --with-memory --with-asr --with-tts # 第 2 步安装全组件安装器会自动完成准备 Python/Node 工具链创建独立的 Demo.venv与后端.repro/.venv-main环境两者刻意隔离避免依赖冲突拉取后端源码与模型权重安装 npm 依赖并构建前端按需裁剪不传任何--with-*参数时只安装视频/文本配置单 GPU 即可运行磁盘占用也更低。若你拿到的是同时包含demo/和backend/的源码包改用bash bootstrap.sh --backend-source ../backend --with-memory --with-asr --with-tts四、启动与验证从模型加载到健康检查安装完成后指定 GPU 启动整套服务.venv/bin/python scripts/repro/run.py up --main-gpu 0 --memory-gpu 1⏳ 首次启动需要加载模型并编译 GPU 内核耗时明显长于后续启动请耐心等待就绪。随后用三条命令验证运行状态.venv/bin/python scripts/repro/run.py status # 查看各组件状态 .venv/bin/python scripts/repro/smoke.py # 冒烟测试 curl --fail http://127.0.0.1:18501/api/status # 健康检查停止服务使用 scripts/repro/run.py 的down子命令或直接运行 stop_demo.sh.venv/bin/python scripts/repro/run.py down若端口冲突用--base-port 19500整体切换端口组浏览器端口相应变为19502。五、浏览器体验接入摄像头、语音与上下文指令打开http://localhost:18502切换到视频通话模式选择媒体源摄像头/屏幕/视频文件并连接即可开始对话。语音输入默认按住说话PTT可切换 VAD 自动收音回答打断模型说话时随时可以插话编排器会保留 KV 缓存做软中断远程访问摄像头与麦克风需要 HTTPS 环境上下文管理在会话中发送/compact生成摘要并重建上下文或/clear清空模型上下文保留系统提示与聊天记录带时间戳的帧流式输入是 MOSS-VL 实时能力的关键——每一帧都携带时间信息让模型理解画面变化而非孤立截图六、端口规划与资源参数速查表推荐安装的默认配置如下可按硬件调整组件GPU / 端口默认参数主 VLMGPU 0 · 后端 185004 会话 · 131072 context · 显存比例 0.5Memory 4BGPU 1 · 185044 并发 · 16384 context · 65536 KV token · 显存 0.2ASR / 本地 TTS / 检索CPUTTS 端口 18505API / 浏览器网页18501 / 18502—pi-agent18503记忆摘要服务常用调参--main-memory-fraction/--memory-fraction调整显存占比--cpu-threads调整 CPU 线程数。日志位于.repro/logs运行数据在.repro/data。七、常见部署问题排查问题处理建议首次启动极慢属正常现象内核编译后续启动会快很多GPU 或端口被占用换用空闲 GPU/端口启动器不会清理其他部署模型缺失重新运行 bootstrap 安装命令运行时不自动下载权重安装中断重跑相同命令即可续装已下载版本会被沿用需要更新组件先run.py down停止再git pull --ff-onlybootstrap.sh --update健康检查失败curl --fail http://127.0.0.1:18501/api/status定位查看.repro/logs安全提醒所有服务默认只绑定 loopback 回环地址。若要公开部署必须自行补充鉴权、会话归属校验、TLS 和限流。八、核心文件导航继续深入学习时这些文件值得收藏路径说明third_party/realtime-demo/README_zh.md中文总览功能、快速开始、接口与部署third_party/realtime-demo/deployment/repro/README.md推荐安装入口前置条件、启停与故障排查third_party/realtime-demo/docs/manual_deployment.md手工分步部署与三协议平面说明third_party/realtime-demo/docs/gateway_contract.md外部客户端网关协议third_party/realtime-demo/docs/ops_runbook.md运维手册third_party/realtime-demo/server/README.md后端架构会话编排、打断与重连机制third_party/realtime-demo/scripts/repro/smoke.py冒烟测试脚本inference/README.md离线/实时推理参考实现入口从一键安装到浏览器语音对话MOSS-VL Realtime-Demo 把实时视频 语音 AI 助手的完整链路压缩成了三条命令。现在就可以打开终端开始搭建你的实时多模态助手了 赞分享【免费下载链接】MOSS-VLAn open-weight 11B model series for long-form and real-time video understanding项目地址https://gitcode.com/gh_mirrors/mo/MOSS-VL点击查看免费下载相关推荐MOSS-VL-Realtime-NF4入门实战10分钟跑通第一个实时视频流式推理DemoMOSS VL Realtime NF4入门实战10分钟跑通第一个实时视频流式推理Demo MOSS VL Realtime NF4 是 OpenMOSS 开打造智能语音助手MiGPT本地部署完全指南打造智能语音助手MiGPT本地部署完全指南 想要拥有一个响应迅速、功能强大的个人语音助手吗通过MiGPT项目你可以将普通的小爱音箱升级为支持本地AI对话的人工智能大模型语音智能家居交互助手Claw Code性能优化终极指南如何提升AI编程助手的响应速度和效率Claw Code性能优化终极指南如何提升AI编程助手的响应速度和效率 Claw Code是一个基于Rust构建的高性能AI编程助手专为开发者提供快速的代码人工智能AI Agent代码智能体CLI交互助手MCP ClientsRAG上一篇OpenCore Legacy Patcher终极指南5个简单步骤让老旧Mac焕发新生运行最新macOS下一篇30分钟上手nuclei SDKGo语言漏洞扫描引擎集成指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
