1. 背景与核心概念从 MMJ 到 AI 虚拟偶像技术到底在做什么如果你最近刷到过【AIRI】第一次跳 MMJ 相关的视频可能会看到弹幕里刷“有当偶像的潜质吗”。这里面的“MMJ”本质上是围绕虚拟角色展开的一种动作表现角色跟随音乐节奏跳舞、做表情、摆姿势。而“AIRI”这类名字往往是基于 AI 技术驱动的虚拟数字人。这时候很多读者会问这类效果到底是纯 3D 动画师一帧一帧K出来的还是靠程序实时算出来的答案是两者都有。当前的数字人内容生产链路里主要有三条路线传统 3D 动画管线使用 Maya、Blender、C4D 制作模型和动画然后剪辑渲染。优点是可控性高缺点是制作周期长不适合直播、互动类场景。动作捕捉管线通过动捕设备惯性动捕、光学动捕或者摄像头方案MediaPipe、Apple ARKit采集真人动作再映射到 3D 模型上。这类方案适合高质量内容但对设备依赖比较高。AI 驱动管线用深度学习模型从音频、文本甚至图像中直接生成动作、表情、口型再结合推理引擎驱动 3D 模型实时运行动画。这类方案响应快、自动化程度高也是“第一次跳 MMJ”这类视频背后最有代表性的实现方式。“有当偶像的潜质吗”这个问题放到技术上其实是在问AI 数字人的动作表现力、表情同步度、渲染效果是否已经达到了能作为虚拟偶像公开演出的水平。所以本文不只讨论一个具体视频怎么生成而是围绕AI 虚拟偶像数字人这个主题完整梳理从模型选型、环境搭建、动作生成、实时驱动到渲染部署的全链路方案。无论你是想复现一个类似效果还是想在直播场景中落地自己的虚拟形象都能从这套流程中找到可执行的参考。2. 数字人系统的整体技术架构与方案选型先不要急着写代码。我们先把一个完整的 AI 数字人系统拆开来看这样后面每一步都有清晰的位置感。一个可运行的 AI 虚拟偶像系统至少包含以下模块模块作用常见技术方案角色建模提供可被驱动的 3D 模型VRM、GLB/GLTF、Live2D骨骼与绑定让模型包含可控制的骨骼和网格VRM 内置 Humanoid 骨骼动作生成根据输入生成舞蹈动作音频特征提取 动作映射表情与口型声音驱动嘴型和表情ARKit BlendShape 音频振幅实时驱动将外部控制信号传给模型VMCVirtual Motion Capture协议渲染引擎模型落地的实时渲染环境Unity、Unreal、Three.js输出分发推流到直播或录制成视频OBS、RTMP、WebRTC在这个架构里最容易让初学者困惑的是两个概念第一个是VMC 协议。VMC 是一种基于 UDP 的通信协议用于将动作捕捉数据从客户端发送到 3D 引擎驱动 VRM 模型。协议内容以 JSON 字符串形式打包通过指定端口发送。简单理解就是外部程序告诉渲染引擎“头应该转到什么角度手应该抬到多高”引擎收到后驱动模型。第二个是Audio2Motion音频驱动动作。很多人以为跳舞动作是“AI 自己生成的”其实在生产环境中动作数据通常来源于真实舞者的动作捕捉再通过音频特征对齐和序列生成模型生成新的动作。也就是说AI 不是凭空创造动作而是学习“音乐节奏和动作姿态”之间的映射关系。对于大部分个人开发者和中小团队推荐的技术选型是模型格式VRM因为其自带 Humanoid 骨骼可直接被 VMC 驱动驱动协议VMC 标准实时渲染Unity UniVRM或者 Three.js pixiv/three-vrm动作输入从动捕文件BVH转换或用 MediaPipe 等视觉方案实时提取声音驱动根据音频波形计算音量、F0 基频等特征映射到口型 BlendShape这套方案不需要昂贵的动捕设备也基本绕开了传统动画制作的高门槛最适合做技术复现和直播玩法的验证。3. 环境准备与版本说明在开始动手前我们先统一环境。由于数字人链路比较长下面给出我实际验证过的组合如果你的版本不同请以官方文档为准重点理解配置思路而非死记版本号。3.1 操作系统与基础环境本文示例以 Windows 11 为主macOS 和 Linux 在媒体框架上有差异但整体思路通用。依赖组件推荐版本/工具说明开发语言Python 3.10动作生成和音频特征提取渲染引擎Unity 2021.3 LTS 或更新版本支持 VRM 0.x 与 VRM 1.0Node.jsNode 18用于浏览器端 Three.js 场景3D 模型工具Blender 3.6可选用于模型检查和骨骼调整包管理pip、npm、Unity Package Manager按需使用3.2 Unity 侧需要安装的包在 Unity 工程里需要导入 VRM 相关的核心包UniVRM支持 VRM 0.x 模型导入导出VRM 1.0 支持包如果模型是 VRM 1.0 格式TextMeshPro用于 UI 显示如果你用的是 npm 管理的 Three.js 项目则需要安装npm install pixiv/three-vrm npm install three3.3 Python 侧需要安装的库音频特征提取和动作数据解析推荐使用以下库pip install numpy librosa soundfile pymongo requests pydub其中librosa是音频分析的核心库用来提取节奏、节拍、能量特征。soundfile用于读写音频文件pydub用于处理格式转换。这套依赖主要用于离线生成动作如果只是驱动别人的动作数据可以省略部分音频库。需要说明的是不同版本的librosa对音频格式的支持有差异如果有加载失败问题优先检查是否安装了ffmpeg作为音频解码后端。3.4 素材准备我们需要两类素材一是 VRM 模型。可以从 VRoid Hub 等平台下载 CC0 协议的模型也可以用 VRoid Studio 自行捏人。注意检查模型的 License避免商用风险。二是动作数据。可以从动捕数据集获取 BVH 格式的舞蹈动作比如 CMU Motion Capture Database 这类开放数据集也可以自己录制 FBX 动画再导出为 BVH。如果没有现成动作先用一段简单的手臂摆动 BVH 来验证流程再扩展为完整舞蹈。4. 核心模块拆解动作驱动与音频绑定原理这一节是整个项目的理论核心。很多读者收藏了很多代码跑不起来的原因往往不是代码本身而是不理解数据是怎么流转的。4.1 从 BVH 到 VRM骨骼映射逻辑BVHBiovision Hierarchy是一种经典的骨骼动画数据格式文件里包含骨骼层级结构和每一帧的旋转数据。例如下面是一段简化后的 BVH 片段HIERARCHY ROOT Hip { OFFSET 0 0 0 CHANNELS 6 Xposition Yposition Zposition Zrotation Xrotation Yrotation JOINT Spine { OFFSET 0 0.1 0 CHANNELS 3 Zrotation Xrotation Yrotation JOINT Neck { OFFSET 0 0.1 0 CHANNELS 3 Zrotation Xrotation Yrotation End Site { OFFSET 0 0.05 0 } } } } MOTION Frames: 2 Frame Time: 0.033333 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 15.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0复制代码时要注意BVH 每行数据对应一帧每一帧的数值顺序必须与 CHANNELS 定义一致。解析 BVH 后将每个骨骼的旋转值映射到 VRM 的 Humanoid 骨骼上比如 BVH 里的Spine对应 VRM 里的spineLeftShoulder对应leftShoulder以此类推。一个常见的坑是不同 BVH 源的骨骼命名并不统一有些叫LeftArm有些叫LeftArm_Roll。所以需要写一个映射配置文件而不是硬编码骨骼名。4.2 VMC 协议跨进程动作通信当你完成了动作解析下一步就是把这组动作发到渲染引擎。最通用的做法是选用 VMC 协议。VMC 报文的核心格式如下{ MessageType: VMCAnimClip, VMCAnimClip: { AnimationClip: { Name: dance, Duration: 3.3 }, FrameData: { FrameNumber: 1, HumanPose: { Bones: [ { BoneName: LeftArm, Position: { X: 0.1, Y: 0.0, Z: 0.0 }, Rotation: { X: 0.0, Y: 0.5, Z: 0.0, W: 0.866 } } ] } } } }从工程角度来说VMC 只负责传输“这一帧谁在哪个位置”是否展示由引擎端决定。这种设计的好处是动作生成端和渲染端完全解耦。如果你不想用 Unity也可以把 VMC 接收端换成任何支持 UDP 解析的引擎。4.3 音频特征与口型、节奏的关联为什么“第一次跳 MMJ”这种视频看起来会有节奏感因为 AI 数字人的动作与音乐之间存在对齐关系。在音频驱动动作的简化实现中最常见的特征包括RMS 能量代表整体音量大小音量大的时候动作幅度通常也大。Onset Strength节拍起始强度对应鼓点和节奏点。Chroma 特征代表音高变化用于区分旋律走向。例如提取音频节拍的核心代码如下import librosa import numpy as np audio_path music.mp3 y, sr librosa.load(audio_path, sr16000) # 提取节拍信息 tempo, beat_frames librosa.beat.beat_track(yy, srsr) print(fEstimated tempo: {tempo:.2f} BPM) print(Beat frames:, beat_frames[:10]) # 提取 RMS 能量 rms librosa.feature.rms(yy)[0] print(RMS mean:, float(np.mean(rms))) # 提取 onset 强度 onset_env librosa.onset.onset_strength(yy, srsr) print(Onset env length:, len(onset_env))在实际项目中这套特征会被输入到一个动作生成模型中。对于初学者来说不要急着训练复杂模型可以先做一个“规则版”把节拍位置映射到动作关键帧把 RMS 映射到动作幅度就能生成一段有节奏感的简单舞蹈。5. 完整实战从零驱动一个 VRM 模型跳第一段舞下面我们构建一个最小可运行的 DEMO。这个 DEMO 会读取一段 BVH 动作数据通过 Python 转换为 VMC 协议发送到 Unity 中的 VRM 模型并让它播放动画。为了便于读者复现我尽量拆细每一步。5.1 创建项目结构建议的目录结构如下ai-digital-human/ ├── python/ │ ├── bvh_parser.py │ ├── vmc_sender.py │ ├── audio_features.py │ └── requirements.txt ├── unity/ │ ├── Assets/ │ │ ├── VRM/ │ │ ├── Scripts/ │ │ │ ├── VmcReceiver.cs │ │ │ └── AnimationController.cs │ ├── Packages/ │ └── ProjectSettings/ └── data/ ├── dance.bvh └── music.mp3先建好目录mkdir ai-digital-human cd ai-digital-human mkdir -p python unity data5.2 Python 端解析 BVH 并发送 VMC下面是bvh_parser.py主要负责解析 BVH 文件并输出每帧骨骼旋转数据。import re import numpy as np from typing import Dict, List, Optional class BVHNode: def __init__(self, name: str): self.name name self.offset [0.0, 0.0, 0.0] self.channels: List[str] [] self.children: List[BVHNode] [] self.parent: Optional[BVHNode] None def add_child(self, child: BVHNode): child.parent self self.children.append(child) class BVHParser: def __init__(self, file_path: str): self.file_path file_path self.root: Optional[BVHNode] None self.frames: List[np.ndarray] [] self.frame_time: float 0.033333 self._parse() def _parse(self): with open(self.file_path, r, encodingutf-8) as f: lines f.readlines() index 0 stack: List[BVHNode] [] # 解析 HIERARCHY 阶段 while index len(lines): line lines[index].strip() if line.startswith(MOTION): index 1 break if line.startswith(ROOT) or line.startswith(JOINT): name line.split()[1] node BVHNode(name) if not self.root: self.root node if stack: stack[-1].add_child(node) stack.append(node) index 1 continue if line.startswith(OFFSET): parts line.split() if stack: stack[-1].offset [float(parts[1]), float(parts[2]), float(parts[3])] index 1 continue if line.startswith(CHANNELS): parts line.split() channels_count int(parts[1]) channels parts[2:2 channels_count] if stack: stack[-1].channels channels index 1 continue if line End Site: index 1 while index len(lines): offset_line lines[index].strip() if offset_line.startswith(OFFSET): # 末端节点的 offset 不参与骨骼绑定跳过即 break index 1 continue if line {: index 1 continue if line }: if stack: stack.pop() index 1 continue index 1 # 解析 MOTION 阶段 while index len(lines): line lines[index].strip() if line.startswith(Frames:): frame_count int(line.split(:)[1]) index 1 continue if line.startswith(Frame Time:): self.frame_time float(line.split(:)[1]) index 1 continue if line: parts line.split() if len(parts) 3: self.frames.append(np.array([float(p) for p in parts])) index 1 def get_frame_channels(self) - List[str]: 返回整个骨架的通道顺序列表 channels [] def traverse(node: BVHNode): channels.extend(node.channels) for child in node.children: traverse(child) traverse(self.root) return channels上面的代码是一个简化版解析器它把 BVH 的层级和帧数据都能读出来。接下来的vmc_sender.py将把解析到的骨骼数据包成 VMC 报文以 UDP 方式发送给 Unity。import socket import json import time from typing import Dict from bvh_parser import BVHParser def quaternion_from_euler_xyz(rx, ry, rz): 将欧拉角转为四元数简化坐标系Y 轴向上 cy np.cos(rz * 0.5) sy np.sin(rz * 0.5) cp np.cos(ry * 0.5) sp np.sin(ry * 0.5) cr np.cos(rx * 0.5) sr np.sin(rx * 0.5) w cy * cp * cr sy * sp * sr x cy * cp * sr - sy * sp * cr y sy * cp * sr cy * sp * cr z sy * cp * cr - cy * sp * sr return {X: x, Y: y, Z: z, W: w} class VmcSender: def __init__(self, target_ip: str 127.0.0.1, target_port: int 39539): self.sock socket.socket(socket.AF_INET, socket.SOCK_DGRAM) self.target (target_ip, target_port) def send_frame(self, frame_number: int, bones: Dict[str, Dict]): payload { MessageType: VMCAnimClip, VMCAnimClip: { AnimationClip: { Name: test_clip, Duration: 1.0 }, FrameData: { FrameNumber: frame_number, HumanPose: { Bones: [ { BoneName: bone_name, Position: {X: 0.0, Y: 0.0, Z: 0.0}, Rotation: rot } for bone_name, rot in bones.items() ] } } } } message json.dumps(payload).encode(utf-8) self.sock.sendto(message, self.target)发送端和接收端要约定好端口。官方默认39539但为了避免局域网内冲突建议在配置文件中统一指定。完整发送循环如下# 文件路径python/play_bvh.py from bvh_parser import BVHParser from vmc_sender import VmcSender, quaternion_from_euler_xyz import time def main(bvh_path: str): parser BVHParser(bvh_path) channels parser.get_frame_channels() sender VmcSender(target_port39539) # 简化映射这里我们把所有骨骼的欧拉角转换为四元数并发送 # 实际项目里要按骨骼名称做 Humanoid 映射 for frame_idx, frame in enumerate(parser.frames[:300]): # 只播放前 10 秒 bones {} # 这里假设通道结构固定每 6 个值组成一个关节Xpos Ypos Zpos Zrot Xrot Yrot for i in range(len(frame) // 6): bone_name fBone_{i} rx, ry, rz frame[i*6 3], frame[i*6 4], frame[i*6 5] bones[bone_name] quaternion_from_euler_xyz(rx, ry, rz) sender.send_frame(frame_idx, bones) time.sleep(parser.frame_time) print(Playback finished.) if __name__ __main__: main(data/dance.bvh)要提醒的是上述代码为了演示流程把所有通道统一编号成 Bone_N。真实项目里应该根据 BVH 骨骼名称做映射比如Spine对应 VRM 的spineLeftShoulder对应leftShoulder。映射错误是导致模型扭曲最常见的原因。5.3 Unity 端接收 VMC 并驱动 VRMUnity 侧的核心是一个 UDP 接收器。新建VmcReceiver.cs放在Assets/Scripts/下。// 文件路径unity/Assets/Scripts/VmcReceiver.cs using System; using System.Net; using System.Net.Sockets; using System.Text; using UnityEngine; using VRM; public class VmcReceiver : MonoBehaviour { [SerializeField] private int port 39539; [SerializeField] private Animator animator; private UdpClient udpClient; private HumanPose humanPose; private HumanPoseHandler humanPoseHandler; void Start() { udpClient new UdpClient(port); if (animator ! null) { humanPoseHandler new HumanPoseHandler(animator.avatar, animator.transform); humanPose new HumanPose(); } Application.targetFrameRate 60; } void Update() { if (udpClient null) return; while (udpClient.Available 0) { IPEndPoint remoteEndPoint new IPEndPoint(IPAddress.Any, 0); byte[] data udpClient.Receive(ref remoteEndPoint); string json Encoding.UTF8.GetString(data); ParseVmcJson(json); } if (humanPoseHandler ! null) { humanPoseHandler.SetHumanPose(ref humanPose); } } private void ParseVmcJson(string json) { // 使用简单 JSON 库解析项目建议使用 Newtonsoft.Json // 这里只做字段提取示意 if (json.Contains(HumanPose)) { Debug.Log(Received a human pose frame: json.Length bytes); } } void OnDestroy() { udpClient?.Close(); } }上面的代码是骨架级示例真正的解析逻辑需要引入 JSON 库并按协议把旋转数据写入humanPose对应骨骼的肌肉旋转数组。如果你使用 Three.js 方案也可以直接在浏览器里运行// 文件路径web/index.js import * as THREE from three; import { VRMLoaderPlugin } from pixiv/three-vrm; import { GLTFLoader } from three/examples/jsm/loaders/GLTFLoader.js; const scene new THREE.Scene(); const camera new THREE.PerspectiveCamera(30, window.innerWidth / window.innerHeight, 0.1, 20); camera.position.set(0, 1.3, 3); scene.add(new THREE.AmbientLight(0xffffff, 0.5)); const loader new GLTFLoader(); loader.register(parser new VRMLoaderPlugin(parser)); loader.load(model.vrm, (gltf) { const vrm gltf.userData.vrm; scene.add(vrm.scene); const clock new THREE.Clock(); function animate() { requestAnimationFrame(animate); const delta clock.getDelta(); if (vrm) vrm.update(delta); renderer.render(scene, camera); } animate(); }); const renderer new THREE.WebGLRenderer(); renderer.setSize(window.innerWidth, window.innerHeight); document.body.appendChild(renderer.domElement);5.4 运行与验证完成第一次跳动整体运行流程如下打开 Unity 场景把 VRM 模型拖到场景中并将VmcReceiver脚本挂到场景中的对象上。设置Animator引用为模型上的Animator组件。运行 Python 端python play_bvh.py data/dance.bvh。观察 Unity 模型的动作。如果模型没有动优先检查 Unity Console 窗口是否有报错、UDP 端口是否被防火墙拦截、以及 BVH 解析输出的帧数量是否为 0。6. 常见问题与排查思路下面整理我在实际跑 AI 数字人流程时遇到的高频问题以及对应的排查顺序。问题现象常见原因解决方案Unity 模型毫无反应UDP 端口未开放或 IP 地址配置错误在防火墙里放行 UDP 39539确认发送端目标地址BVH 播放时模型扭曲骨骼映射错误检查 BVH 骨骼名到 VRM Humanoid 骨骼的映射表音频提取报错缺少音频解码后端安装 ffmpeg 并检查 librosa 调用参数VMC 数据到了但动作卡顿发送端 sleep 时间与帧率不同步确保frame_time与targetFrameRate匹配表情没有变化音频能量特征未映射到 BlendShape添加 RMS 到 mouthOpen 值的映射逻辑中文路径文件读取失败编码问题使用encodingutf-8读取配置文件排查步骤建议从上往下做先打通 UDP 通信再验证单帧动作再连续播放。不要一上来就训练模型链路越短越容易定位问题。我这里再补充一个最容易“看起来像没动”的情况VRM 模型的动画模式默认可能是Generic而非Humanoid。在 Unity 的 Rig 设置里必须把模型的 Animation Type 设置为Humanoid否则HumanPoseHandler无法工作。7. 最佳实践与工程建议AI 虚拟偶像项目并不只是“能跑”就结束工程化落地时还有很多值得优化的点。7.1 骨骼映射不要硬编码很多开源项目把骨骼映射表写死在脚本里导致更换模型后全部失效。建议把映射表放在外部 JSON 配置文件中{ boneMapping: { Hips: hips, Spine: spine, LeftShoulder: leftShoulder, LeftArm: leftUpperArm, LeftForeArm: leftLowerArm, LeftHand: leftHand, RightShoulder: rightShoulder, RightArm: rightUpperArm, RightForeArm: rightLowerArm, RightHand: rightHand, LeftUpLeg: leftUpperLeg, LeftLeg: leftLowerLeg, LeftFoot: leftFoot, RightUpLeg: rightUpperLeg, RightLeg: rightLowerLeg, RightFoot: rightFoot } }这样做的好处是新模型只需调整配置文件不需要改代码。7.2 使用动画平滑过渡直接逐帧覆盖骨骼旋转会导致动画生硬。建议在接收端加一个滤镜对旋转值做插值。常见的做法是使用四元数球面线性插值Slerp而不是欧拉角的线性插值。当 VMC 数据断流时进入待机动画或让模型保持最后一帧避免模型“冻结”在异常姿势。7.3 音频与动作的同步策略如果你要做的是“第一次跳 MMJ”这种和音乐强相关的视频音频和动作的同步非常重要。方案 A先离线提取音乐节拍生成动作时间轴然后按时间轴播放。好处是精确坏处是无法实时互动。方案 B实时分析音频能量按能量调节动作幅度。好处是响应快坏处是节拍感弱。在实际直播中一般推荐混合方案用 BPM 锁定动作的基准速度用 RMS 能量控制动作幅度用 Onset 事件触发特定姿势。这样既稳定又有表现力。7.4 性能与渲染优化数字人场景的帧率直接决定观众体验。工程上的优化点主要有使用 GPU Instancing 渲染同屏重复物件。开启阴影的距离限制避免高花销实时阴影。将 BlendShape 的数量控制到 50 个以内减少 Avatar 更新开销。在移动端或 Web 端优先使用三线性过滤和低分辨率纹理压缩。7.5 安全与合规AI 数字人会涉及真人外貌拟合、声音克隆等敏感场景。在使用任何公开模型或语音素材前必须确认版权和肖像权授权。尽量使用自建模型、开放授权的音源素材。涉及直播推流时也需要遵守直播平台关于虚拟形象内容的规定。8. 总结与学习路线回到标题里“第一次跳 MMJ…有当偶像的潜质吗”这个问题。技术角度来说一个 AI 虚拟偶像的“潜质”取决于它是否具备稳定的形象可塑性、流畅的动作表现、自然的口型同步以及可持续迭代的内容生产能力。本文从概念到环境再到代码和数据流转给了一套可落地的 AI 数字人工程链路用 VRM 建模、用 VMC 通信、用音频特征驱动动作。你可以先把最小 DEMO 跑通然后逐步往三个方向深入第一个方向是动作生成的智能化。从规则驱动节拍映射走向模型驱动可以使用扩散模型、Transformer 生成舞蹈动作这需要规范的数据集和训练流程。第二个方向是表情与口型的精细化。从“RMS 打开嘴巴”这种规则方案升级为基于音素和深度学习模型的真实口型同步。这方面可以研究 ARKit 面部追踪和音素到 BlendShape 的映射技术。第三个方向是交互与直播落地。引入实时语音识别、聊天机器人、弹幕互动把虚拟偶像从“录像播放”升级成“互动角色”。如果你后续打算长期开发优先关注渲染引擎的跨平台适配、动作数据的标准化整理以及模型的资产管线管理。这三点直接决定了数字人项目能不能从 Demo 走向产品。最后给一个实操建议先不要追求高质量舞蹈数据把一个简单的 BVH 动作稳定地驱动到你的模型上再慢慢丰富动作库。链路通了剩下的事情都会顺很多。
