这几年做广电演播室的视觉项目被问得最多的一个问题就是xR是不是就是放大版AR其实不是。xR的真实含义是“扩展现实”它的核心价值不是加特效而是让虚拟空间和真实演播空间在摄像机这个“唯一的眼睛”里无缝融合。文化节目尤其是诗词大会这一类的节目拼的不只是答案更是舞台的气场和意境所以xR在其中能发挥的空间非常大。这篇文章不绕弯子我就以我们团队参与的2022年某季诗词大会项目的实际经验为底重点拆解Hecoos和Hirender这两个系统是如何配合把“虚拟场景”从概念落到录制现场的。如果你正准备做类似演艺空间、演播室改造或者xR虚拟制作项目这里有很多是可以直接抄作业的细节当然也有大量用血泪换来的教训。1. 为什么文化节目需要xR古典意境与实拍限制的矛盾诗词大会这类节目从前十年看大多是实景舞美加LED背景大屏。舞美做得很精致但有一个绕不开的限制场景的“意像”很难做到完全自由。你要表现“春江潮水连海平”总不能真的在演播室里造一片江海。早期节目会在背景板上放视频素材但背景板是平的演员和主持人站在前景视觉上始终有一种“贴纸感”而且机位一旦摇动背景透视完全不跟随穿帮几率很高。xR技术解决了两个核心痛点第一背景不再是一块屏幕而是一个由实时渲染引擎生成的3D空间第二摄像机的运动会影响虚拟场景的渲染视角也就是说机位摇过去我们看到的是空间在“转动”而不是一块平面在平移。这样一来整个舞台空间就“活”了诗词里的山水、大殿、竹林、流水都能以比较可信的尺度出现在镜头里。另一个重要原因是文化节目对“现场感”和“情绪感”的要求特别高。如果演员站在一个空旷的绿幕棚里全靠后期合成演员很难找到表演状态眼神和肢体都会发飘。xR方案下虽然有LED屏作为地面或背景但演员看到的虚拟空间已经渲染出来他可以跟场景产生真实的视线交流。比如参赛选手站在桥上LED屏里真的有一座桥延伸出去他站在桥头低头能看见桥面的光反射这种心理锚定感是绿幕给不了的。当然选择xR不是因为它时髦而是因为它能切实解决文化节目“低成本换场景”的需求。一档季播节目可能有十几种场景氛围变化比如“边塞”“江南”“宫廷”等。传统舞美要满足这么多变化只能大量堆实景结构搭建周期和预算都是问题。xR可以提前在虚拟引擎里完成所有场景录制当天通过Hecoos和Hirender的配合随时切换整个视觉资产都是数字化的这个性价比让它成了最合理的选择。1.1 文化类节目对xR场景的特殊美术要求文化节目不是游戏外景它对场景的美学要求更偏向“水墨画”“国风美学”这一路。这里要注意一个关键问题很多做xR的团队是从游戏或影视虚拟拍摄转过来的习惯做“写实”或“奇幻”风格但文化节目需要“留白”“含蓄”。如果虚拟场景堆了太多细节反而会把演员“吞”掉导致观众不知道该看哪。我们的美术团队当时定下了一个原则虚拟场景的光照层次必须服务于“人的视觉引导”。举个例子选手答题区域的光照强度必须高于周边环境哪怕是模拟夜晚的竹林场景也要在答题台附近加了一个人工的“月光聚焦”让视觉中心始终落在人身上。这个在Hecoos里可以做成一个亮度触发器只要选手站到设定区域虚拟灯光强度自动提升镜头焦点不会被场景里的树枝或飞鸟干扰。另外诗词节目里的文字元素很关键。比如舞台上方会悬浮诗句文字、诗词名称等这些文字在LED屏幕里如果直接渲染会非常锐利但古典审美需要一点“透墨感”。我们用了半透明材质加泛光让文字像刻在绢布上。这些小细节看起来不显眼但观众会潜意识觉得“这个舞台有文化感”。2. Hecoos与Hirender在系统中各管什么核心架构拆解正式拆系统之前先解释一下这两个工具在我项目里的定位。Hecoos和Hirender是两套独立的软件平台常常搭配使用但很多初次接触的人会把它们混为一谈。事实上它们的职责边界非常清晰Hecoos可以理解为“导演总控台”负责把虚拟场景、摄像机跟踪、灯光变化、大屏切换、互动触发等信号统一编排让所有环节按照节目流程精确走位Hirender则是“渲染输出引擎”负责把Unreal/Unity等引擎里做好的三维场景进行高质量实时绘制然后输出到LED屏或合成链路。用一个通俗的类比Hirender是“发动机”负责动力把多边形和材质算出来Hecoos是“变速箱和方向盘”在拍摄过程中决定什么时候切换场景、切换视角、触发什么事件。没有发动机车子动不了没有变速箱动力无法分配到该去的地方。两者协同才能让xR场景在节目录制的压力下稳定运行。2.1 完整信号链路中的关键节点从逻辑上来看整个xR系统可以分为五层场景资产层、渲染计算层、播控调度层、信号分发层、监视验证层。Hirender主要覆盖渲染计算层Hecoos主要覆盖播控调度层但它们之间的数据接口是整个项目最需要重视的地方。我们的链路是这样搭的美术团队在Unreal Engine里创建完整的三维场景包括地面反射、灯光、粒子特效和家具道具Hirender读取UE工程将场景拆分成多个Render Target分别对应主秀屏、地屏、返送屏和后景屏Hecoos接收来自摄像机跟踪系统的空间坐标数据再把这些坐标实时推送给Hirender让渲染引擎知道“摄像机现在在哪、朝向是什么”Hecoos同时也负责播放大屏的内容、控制虚拟场景的动画状态、触发观众掌声音效、控制灯光氛围变化等。这里有几点必须说明白。第一摄像机的跟踪数据如果延迟超过1帧画面就会出现肉眼可见的“漂移感”。我们当时在Hecoos里设置了跟踪数据过滤器把高频抖动滤掉。因为摄像机轨道运动时跟踪系统返回的数据会有微小的毛刺如果不滤波渲染出来的画面会像手持晃动观众会头晕。第二Hirender渲染输出的画面要同时给到“摄像机合成”链路和“现场观摩/演员返送”链路。但LED大屏上观众看到的画面和摄像师通过合成看到的画面是两回事。LED屏上直接显示的通常是最终虚拟场景的“无遮挡背景”而摄像师合成画面是虚拟背景加演员实拍前景。这两个画面不能共用同一个渲染通道Hirender需要做双通道甚至三通道输出这一点是很多人第一次做xR时容易踩的坑。2.2 为什么选择HecoosHirender而不是单套方案做项目之前我们也比较过很多其他方案比如直接用Unreal的nDisplay功能或者用一些一体化xR工作站。最终还是选择HecoosHirender组合理由有以下几个稳定性。Hirender在压力测试下的渲染掉帧率控制得不错长时间录制不重启而且它支持多GPU集群同步分辨率拉到8K也能保持稳定。这对录制一个动辄录制八九小时的节目来说很重要。编排自由度。Hecoos的时间线可以做得非常细按帧级别的触发来切换虚拟场景它甚至可以根据节目流程自动调用上百个动作。我们当时把诗词飞花令模块做成了“随机题库场景联动”题目出现的同时虚拟场景里会掉下落花粒子这是靠Hecoos逻辑节点完成的。与导演组的配合效率。Hecoos的界面可以自定义UI导演可以在现场用触控屏直接看到每一个虚拟机位的视角不用去记复杂的UE操作。导播要什么角度我们直接在Hecoos里切。当然也有代价两套软件分属不同团队维护中间需要两边技术员频繁对表沟通成本高。但对体量较大的文化综艺来说这个代价是值得的。3. 落地步骤从唐诗意境到LED屏内虚拟空间理论讲完说说实际怎么把场景做出来。一个文化类xR项目从零到一通常需要经历勘景与舞美结构确定 → 虚拟场景设计与UE搭建 → 摄像机跟踪与空间标定 → 渲染与播控联调 → 全要素彩排。五个阶段里最容易失控的是“虚拟场景设计与UE搭建”和“摄像机跟踪与空间标定”。3.1 虚拟场景的分层建构与透视逻辑我们在做“江南水乡”这个场景时UE里的资产分了三层远景层远山、塔影、中景层屋檐、柳枝、水面、近景层石桥、桃花树。为什么要分层因为LED屏幕的数量和物理位置是有限的不可能无限呈现纵深所以要利用视差欺骗人的眼睛。摄像机在运动时近景层移动快远景层移动慢这种相对运动会给大脑造成“空间深度”的错觉。立体的关键还在于场景要和演播室实景的透视关系完全对齐。我们演播室地屏前沿到主屏的物理距离是8米摄像机最远拍摄距离是25米那么虚拟场景里就要构建一个从“摄像机镜头中心点”出发的等比例空间。Hecoos里有一个“透视矫正”参数可以微调场景的汇聚线与地屏夹角。如果这个角度差了哪怕0.5度摄像机摇臂一升起来整个场景就会歪观众会觉得“房子要倒了”。3.2 渲染资产优化不是越精细越好文化节目场景的多边形数量不需要像游戏大片那样夸张。很多新手以为xR场景越精细越好其实是个误区。LED屏本身有物理分辨率一般主屏P3/P4地屏P6你渲染太精细的纹理在LED上根本显示不出来反而会让GPU占用率飙升拖慢渲染帧率。我们用了一个“视距决定精度”的方案。距离摄像机最近的虚拟物体比如舞台两旁的桃花树模型面数可以做到几十万而远处的远山甚至可以用一张全景贴图不需要建模。Hirender在做光照烘焙时也把静态光照和动态光照分开静态场景用烘焙光照贴图流动的水和树叶用简单的动态反射。这样在8K输出压力下我们还能稳定在60帧。另外要提一下Hirender的颜色校准。LED屏幕是自发光显示它的色彩空间和UE里的线性色彩空间有很大差异。如果不做校色虚拟场景在LED上看起来会“灰蒙蒙”且颜色不自然。我们当时用Hirender的3D LUT工具把Unreal输出的画面做完整色彩映射确保在LED上看到的颜色和导演监视器里看到的颜色一致。这个工作必须在白天自然光和舞台灯光同时存在的情况下校准因为环境光会影响人眼对屏幕颜色的判断。3.3 摄像机跟踪与空间标定地屏上的坐标系先解释一下原理xR的“跟踪”是通过在摄像机云台上安装光学标记或用电子传感器测量摄像机的位移、旋转、焦距变化然后把数据传到Hecoos里Hecoos再换算成虚拟摄像机的运动。如果摄像机推镜头变焦虚拟摄像机的视场角也要变化否则虚实景物的匹配关系会崩。我们当时使用了光学跟踪方案在演播室天花板吊装了多个红外动捕摄像头摄像机上贴标记球。标定那天最大的麻烦是“反光”。演播室里有大量金属结构某些角度会反射红外光导致跟踪系统以为那个点是摄像机标记于是坐标突然跳几十厘米。这个问题的排查过程特别折磨人后来我们把金属闪光点用亚光胶带贴掉了又调整了红外相机的曝光阈值才算稳定。在整个坐标系统里地屏的四个角是重要的标定点。我们让一个工作人员拿着一个1米高的标杆走到地屏的四个角和中心用Hecoos里的标定工具记录该位置的跟踪坐标。这样整个虚拟空间的“世界原点”就锚定到了经验证的物理空间上。以后演员站到地图上任何一个格子我们都能知道他在虚拟场景里的准确位置方便做虚实互动。4. 现场录制最容易翻车的五个环节同步、跟踪、调色、视线与应急正式录制阶段氛围和实验室完全不同。导演组、选手、嘉宾、导播、灯光、音响、视觉所有部门拧在一起任何一个环节卡壳都有可能拖延录制进度。xR项目在文化节目现场最容易翻车的点我从实际经历里提五个。4.1 Genlock同步帧不同步画面就会“撕裂”xR系统里LED屏、摄像机、渲染服务器、跟踪系统所有设备必须在同一个时钟基准上运行常用的是Genlock同步信号。Hirender输出到LED的每一帧必须和摄像机快门在时间上严格对齐否则摄像机会捕捉到屏幕上正在刷新的半个画面出现“滚筒快门条纹”或“画面撕裂”。我们遇到过一次特别诡异的现象从摄像机监视器里看屏幕边缘有几像素宽的滚动亮带但肉眼看LED完全正常。后来排查发现摄像机的Shutter Speed设置为1/1000而LED刷新率是60Hz快门太快导致采样到LED的非刷新区间。把快门降到1/120问题立刻消失。经验是xR录制时摄像机快门速度建议设置为屏幕刷新率的整数分之一的倒数以上且Genlock必须锁死。4.2 摄像机空间关系前景道具与虚拟物体的遮挡xR有一个天然优势演员和真实道具可以出现在虚拟场景前面渲染引擎会根据跟踪数据计算遮挡关系。但一旦现场临时加了实景道具比如节目组在舞台侧面放了一个真实的石狮子它的坐标没有同步到Hecoos虚拟渲染画面就不会把它当成遮挡物。结果就是摄像机一摇石狮子可能“穿透”后面的虚拟柱子。解决办法是在Hecoos里给每个实物道具建一个“碰撞盒”只要道具位置发生移动立刻更新碰撞体数据。我们甚至为移动的答题台设置了实时定位传输保证任意时刻虚拟画面都知道答题台的边界。4.3 眼神与视线演员看不到“青山”很尴尬文化节目里嘉宾朗诵时需要看向虚拟场景里的“远方”。但LED屏可能只占了舞台前方的一部分更远处的虚拟画面并没有物理屏幕。如果演员眼神方向错误镜头里的视线就找不到落点。为了这个我们在舞台四周布置了“视线参照物”——用激光灯在演播室顶棚上打出一个虚拟位置坐标让演员能知道“远方”在哪个方向。这是特别土但特别有效的办法。4.4 主持人走位与场景切换节奏诗词汇节目经常有“从演播室主舞台切换到虚拟答题空间”的镜头。传统做法是切机位我们这次尝试了“无缝衔接”主持人从一个LED屏的回廊走出来身后的屏幕实时换景观众会觉得是一次连续的空间转移。但这个效果要在Hecoos里提前编排好“摄像机移动场景动画灯光渐入渐出返送屏同步”的组合。我们把它称为“时空切片”所有事件必须精确到半秒内否则主持人一步迈出去场景还没换完画面就穿帮。4.5 应急措施双渲染链路与快速降级方案录制最怕服务器崩溃。我们给Hirender配了双机热备一旦主渲染服务器掉帧率超过预警线备用服务器在最多3帧内接管输出。同时我们准备了一套“静态背景降级方案”如果渲染彻底挂了Hecoos会立刻切播一段预先渲染好的虚拟场景视频虽然不能同步摄像机视角但至少可以保证节目不停录。这一点我要特别提醒文化节目通常有嘉宾和重要观众在现场停机等待的风险极高。宁可画面效果差一点也不能让全场干等。所以预算再紧张备用链路也必须留。5. 从这台节目里沉淀下来的可复用经验节目已经播出很久了但这一轮xR落地踩过的坑、攒下的经验对我后面的项目帮助特别大。最后分享几条我们认为可以复用到其他文化节目或演播室项目里的方法论。第一虚拟场景的“美术情绪”应当先于技术定案。很多团队拿到项目就开始建模型、调材质但我们这次先做了一个静态分镜脚本把每个环节的视觉情绪、光影暗示、演员和场景的比例关系画出来然后才进UE。这让Hecoos的编舞和Hirender的渲染目标有了清晰的依据。第二一定要预留足够长的技术联调时间。xR系统不是搭好就能拍的。摄像机跟踪标定至少需要2天渲染与LED的色准调试至少需要1天全流程彩排至少1天。如果把联调时间压缩到1天现场大概率会变成灾难。我们在该节目中的联调时间是4天最后一天还在解决地屏的摩尔纹问题。第三Hecoos里的“节点逻辑”是提高效率的关键。不要每一场都手动切场景而是把节目流程做成逻辑树。比如“飞花令环节开始”Hecoos就自动执行场景亮度降10% → 答题区域灯光亮起 → 诗句文字粒子升起 → 返送屏显示倒计时。这样一来现场执行导演只需要按一个按钮剩下全部交给系统。我们后来统计整个节目录制里手动操作次数减少了六成人为失误几乎降到零。第四不要把LED屏当显示器它是一个舞台空间。灯光、演员倒影、屏幕表面反射都应该纳入设计。Hirender里可以开启“屏幕反射”参数让地面的LED屏像真实水面一样反射演员的身影这在诗词节目的水墨意象里有奇效。但反射计算很耗GPU我们只在关键镜头开了这个特效。最后想说的是xR不是用来炫耀技术的。文化节目的核心是“人”是选手的紧张、嘉宾的感慨、诗词本身的魅力。一切技术手段最终都只是在帮观众建立那种“置身于诗词世界”的情绪。Hecoos和Hirender再强大也只是我们手里的笔和颜料怎么画出意境还是要看使用它的人对内容的理解有多深。希望这篇拆解能让大家少走一些弯路在下一档文化节目里把xR用到更从容、更有诗意。
