5分钟跑通实时数字人直播LiveTalking 完整部署指南【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-streamLiveTalking 是一套实时交互流式数字人直播引擎把一段文字或语音丢给它数字人立刻开口、口型跟着内容走说话中途还能被打断。适合想搭虚拟主播、数字人客服、直播互动的开发者与内容创作者零基础也能照着跑通。一场景切入3个真实用法无人电商直播数字人 24 小时播产品话术不说话时按编排播放自定义动作视频前台数字人客服用户语音提问数字人实时回答问错了随时打断重说视频会议出镜数字人变成一台摄像头Zoom、腾讯会议里照常开会二上手路径4步从0到跑通 第1步克隆仓库、装依赖3步跑通环境目标建好 Python 3.12 环境装上 PyTorch 和项目依赖。git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream conda create -n livetalking python3.12 pip install torch2.9.1 torchvision0.24.1 torchaudio2.9.1 --index-url https://download.pytorch.org/whl/cu128 pip install -r requirements.txt跑完没有红色报错即通过若机器 CUDA 不是 12.8先执行nvidia-smi确认版本再换装对应的 PyTorch。第2步模型文件各归其位2个文件2条命令目标让口型模型和数字人素材就位。模型文件从 README 给出的官方网盘下载然后cp wav2lip256.pth models/wav2lip.pth tar -xzf wav2lip256_avatar1.tar.gz cp -r wav2lip256_avatar1 data/avatars/验证models/wav2lip.pth与data/avatars/wav2lip256_avatar1两个路径都存在即算成功。第3步一条命令启动服务python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1日志显示服务在 8010 端口监听且无报错即启动成功注意服务器需放行 TCP 8010 与 UDP 1-65536。第4步浏览器里验证数字人开口打开http://服务器IP:8010/index.html点击开始连接在文本框输入任意文字并提交。画面里的数字人开口说话、口型跟着语音走就算跑通了。三能力拆解你拿它能做什么换模型不换流程—— wav2lip256推理快、入门首选、musetalk画质更好、ernerf神经辐射场渲染的 3D 头部、ultralight轻量方案四种数字人模型只改--model和--avatar_id两个参数。让数字人用你的声音说话—— 在 config.yaml 里填REF_FILE16kHz 单声道 wav和REF_TEXT就是声音克隆TTS 侧 EdgeTTS、GPT-SoVITS、CosyVoice、腾讯等多家方案可切换。说话中途打断—— 调用/interrupt_talk接口或点页面上的打断按钮数字人立刻闭嘴、转听你的新问题这是直播互动的关键体验。输出去向按场景挑—— WebRTC 给浏览器用RTMP 推到直播平台虚拟摄像头则能插进 OBS、腾讯会议一切用 API 驱动——/human发文本、/humanaudio发音频每个连接有唯一 sessionid支持多人并发完整参数见 docs/api.md。整条链路的数据流如下四硬件与性能显卡怎么选日志里inferfpsGPU 推理帧率与finalfps最终推流帧率都 ≥25 才算实时。实测数据模型显卡实测帧率 (FPS)wav2lip256RTX 306060wav2lip256RTX 3080Ti120musetalkRTX 3080Ti42musetalkRTX 309045musetalkRTX 409072选型一句话入门和跑通最小示例wav2lip256 RTX 3060 就够追求更强真实感musetalk 至少 RTX 3080Ti 起步。五懒人路线与进阶路线Docker一键部署懒人路线Docker 一条命令docker run --gpus all -it --networkhost --rm registry.cn-beijing.aliyuncs.com/codewithgpu2/lipku-metahuman-stream:2K9qaMBu8v容器起来后开放 8010 端口后续操作与第二节完全相同官方另提供 AutoDL、UCloud 的在线 GPU 镜像可免安装直接开实例。进阶路线—— 需要高清画质、实时语音互动、同步字幕、透明背景叠加、实时换人等交付级能力可看商用版在开源版基础上新增 wav2lipls 等想二次开发用 registry.py 的注册机制扩展 TTS、数字人形象或推流模块。六避坑指南5个高频问题 ⚠️Q1 页面连不上、视频不出画面放行服务器防火墙的 TCP 8010 和 UDP 1-65536——WebRTC 强依赖 UDP 端口段。Q2 模型下载失败、HuggingFace 连不上先设镜像再重新执行下载命令export HF_ENDPOINThttps://hf-mirror.comQ3 虚拟摄像头报 virtual camera output could not be started先安装 OBS Studio启动一次再关闭激活虚拟摄像头设备然后执行pip install pyvirtualcam pyaudio详见 docs/virtualcam_guide.md。Q4 RTMP 推流被 ffmpeg 报错卡住运行ffmpeg看输出必须包含libx264没有就换用带--enable-libx264构建的版本社区验证 4.2.2 可用。Q5 pytorch3d、protobuf 等依赖装不上对照 assets/faq.md 处理pytorch3d 需要下载源码编译安装protobuf 固定装 3.20.1 版本。浏览器里数字人开口的瞬间整条文字→语音→口型→推流链路就真正通了这也是判断部署是否成功的唯一标准。下一步建议先把音色换成你克隆的声音再决定用 WebRTC 还是 RTMP 推向目标平台——先跑通最小示例再谈定制。【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
