本篇论文摘要由AI工具根据论文原文生成，阅读原文请访问“广电猎酷”小程序“”板块。
在4K+5G、8K+AI等新技术快速发展的时代背景下，随着媒体深度融合，重庆广电第1眼新闻不断推进文化传媒领域人工智能应用场景建设，探索XR及人工智能大视听模型的研发应用。在整体保留原有重庆山城形貌特点的同时，实现个性化设计，改建成总面积近300平方米的国内第一家新闻4K+XR演播室，全场景自由搭建，全流程虚拟制作，虚拟场景随心定制，灵活应对突发事件，再现和还原新闻事件。打破时空限制，让观众“走进”新闻现场，身临其境体验新闻现场，一键切换不同场景，复杂的数据和图表实时呈现，迅速进入报道状态，让观众在新闻节目制作中具有沉浸式的体验。XR 演播场景想象无限，创意无限，让新闻报道更可视。
本文作者：
钱学武 重庆广播电视集团[总台]
第一作者简介：
钱学武（1988—），男，重庆广播电视集团（总台）高级工程师，学士，主要从事演播室和转播车视频技术的系统设计与研究，曾参与过青海广播电视台10+2高清转播车和高清新闻演播室的系统设计和集成，重庆广播电视集团（总台）第1眼新闻合成送播系统、第1眼新闻演播室4K XR演播室系统项目。
NO.1
技术设计方案
1.1 XR系统规划要求
扩展现实（XR）包括虚拟现实（VR）、增强现实（AR）、混合现实（MR）。XR系统作为沟通真实世界与虚拟场景的桥梁，将实时渲染系统、摄像机追踪系统、媒体服务器、4K超高清摄制系统有机结合，最大程度上实现了实景与虚拟场景的融合。
重庆电视台第1眼新闻各档直播和录播节目要求在XR演播室节目制作中，通过摄像机视角看到的景象与观众产生融合沉浸式的体感，实时呈现的内容可以让主持人更好地与虚拟环境进行交互。为了实现上述功能效果，首先，要求具有高质量高分辨率的LED屏幕，同时显示由图形引擎预先载入的3D虚拟场景，这些LED屏幕同时构成了摄像机拍摄的背景。当精准的摄像机追踪系统被加入后，摄像机开始围绕LED大屏环境内被无缝结合起来的真实与虚拟元素进行运动。
其次，节目生产团队使用高性能媒体服务器，基于UE5.4的实时图像合成系统，XR以三面LED屏幕构建了可视化的虚拟三维空间，现场通过摄像机跟踪系统实时提供主持人在虚拟三维空间的位置数据。将虚拟摄像机与真实摄像机运动信息进行匹配，并将高质量图像信息映射到超高分辨率的LED显示屏，通过渲染引擎在LED屏幕上实时呈现动态虚拟场景，用“假”的画面填充覆盖某些“真”的地方，起到补充和扩大场景的效果。在《重庆新闻联播》等节目制作环境中实现XR，从而最大程度实现实景与虚拟场景的融合。
1.2 XR系统主要功能模块
1. 媒体服务器（VX）：为用户提供简单易用的操作界面，实现实时视频信号的采集、追踪数据的采集、误差计算。具有延时校准、空间校准、色彩校准等功能，XR 技术工程师在媒体服务器上面完成校准操作。还要负责选择调取虚拟引擎的渲染结果，以及XR 最终输出画面的合成输出。
2. 渲染服务器（RX）：基于UE5.4的渲染引擎，具有强大的图形处理能力，RX 负责接收校准后的摄像机位置信息，按照媒体服务器的设置要求实时渲染正确视角的画面，并传输给媒体服务器（VX）。
3. 摄像机跟踪系统：自动控制摇臂，可远程操控和手动操作，具备光学跟踪和机械跟踪功能，快速地进行镜头校正，同时支持同步信号锁定。
4. 演播室摄像机系统 ：演播室摄像机应支持全域快门，支持BB黑场系统同步输入，具备4K和HD输出能力。
5.LED显示大屏和控制器 ：具有高分辨率、高清晰度、小间距，以及高光显示性能的LED大屏幕系统，没有颜色溢出问题与抠像合成的困扰，易于操作和控制，维护简单。
6. 以太网交换机 ：应具备10GB和100GB以上数据交互能力的以太网交换机，实时进行渲染数据的交互。
1.3 演播室系统
重庆广播电视集团第 1 眼新闻演播室由 A、B、C三个导控室和一个开放式景区、虚拟绿箱、访谈景区组成。本次XR系统改造主要针对 A 导控室和开放式景区的一部分进行。
为了配合当前高清系统的节目制作，更为了后期向4K超高清技术的规划和发展，我们决定在原高清演播系统的基础上，将原高清讯道摄像机升级为 3 套 4K 演播室迅道摄像机，为了与原演播室系统集群的整合与过渡，4K 摄像机输出仍采用 SDI 基带输出，具备 IP2110 功能。为了实现场景的纵深和广度，新增加 2 套自动控制摇臂系统，摇臂配 4K 广播级摄像机加 4K 广角镜头，与两套单机位配合使用，摇臂与 VX之间通过 FreeDDriver 协议将跟踪数据和摄像机镜头数据进行实时传输、控制信息、跟踪数据等，通过 10GB 交换机进行数据交换，VX 接收到数据后进行图形合成，最后输出到切换台。
XR演播室系统的核心为2套RX和VX系统，互为主备，RX主要负责所有虚拟图像的渲染，然后将实时渲染的图像，通过光纤连接到100GB交换机。VX主要负责将RX渲染的图像和摄像机所拍摄的实景根据读取的追踪数据信息进行合成，VX也通过光纤连接到 100GB 交换机，将包括给大屏和地屏的图像以及 PGM合成输出到演播室视频切换台进行最终节目制作，系统连接如图 1 所示。
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
图1 系统连接图
VX 能实现节目虚拟与现实的完美结合，离不开跟踪数据的采集计算以及对现场灯光、摄像机拍摄大屏显示画面进行色彩校准。两台自动控制摇臂通过网络将位置信息、镜头数据信息传输给VX，VX 通过数据分析，并生成校准信号进行投屏显示，校准信号如图 2 所示，然后摄像机将所拍摄的测试画面再回传到 VX，VX 通过对这些数据进行分析和校准，实现实时跟踪，达到虚拟画面人景合一，给观众带来沉浸式体验。
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
图2 校准信号测试图
1.4 XR景区大屏系统
大屏系统包括 LED显示单元和控制单元，大屏控制系统采用大容量高速FPGA和高速数字总线矩阵为基础的硬件架构，主要功能为切换 LED屏幕显示信号，管理 LED显示布局，实现多路不同格式的输入信号分辨率转换与切换。XR虚拟景区为了适配高反射的真实物体拍摄，需要提供真实的环境反射信息及光照，而无需通过后期合成添加处理。需要有真实的现场交互灯光，照明由 XR 现场的LED显示屏提供，有助于真实人物与虚拟环境的无缝融合，并进一步减少灯光照明调整的时间。演播室要能完美地呈现虚拟场景的沉浸式效果，LED大屏显示系统起着至关重要的作用，包括大屏控制系统和显示单元。
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
图3 大屏模拟图
结合重庆电视台第 1 眼新闻节目的业务模式，决定采用立屏 P1.95、可站立地屏 P2.6 的LED显示屏，立屏单元屏模块尺寸50cm×50cm，256×256像素，每平方米的面积为512×512 像素 ；地屏单元屏模块尺寸50cm×50cm，192×192 像素，每平方米的面积为 384×384 像素，为核心的显示系统。XR 景区立屏由两面 4m×3m 的立屏和 4m×4m的地屏组成，XR 景区主大屏幕由 16m×3m 的立屏组成，如图3、图4所示。
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
图4 XR景区LED大屏实景
NO.2
系统调试和问题解决
XR 演播室景区是基于原新闻频道日常直播节目的景区进行建设的，在建设过程中遇到许多问题和难题，首先是要保障新闻频道日播节目的直播和录播，又要工程进度正常进行，技术人员通过与系统集成方、基建施工方协商，白天节目正常直播，在晚间进行主体施工。在保证原有节目模式不改变的情况下，进行临时景区搭建，并将原部分日播栏目进行临时迁移景区，以方便技术人员进行摇臂、大屏等设备的安装和调试、虚拟合成、跟踪数据校准、演播室系统设备更新等工作。
在调试过程中还遇到以下几个问题 ：
1. 大屏闪烁
大屏安装完成后，在调试启用的过程中，通过VX输出的图像信号，在LED 大屏幕上显示时，偶发屏幕闪烁的现象。通过对信号显示进行分析，技术人员一致认为是有干扰，对大屏和VX系统安装各环节进行梳理后发现，VX和RX设备机箱没有电源而 LED大屏有接地，将机箱经接地后干扰现象消失。
2. 输出信号不同步
在启用运行及节目制作过程中，一次关闭VX主机电源后再开机，出现输出到切换台的合成信号与切换台系统不同步，需经过帧同步机后画面才能系统同步锁定。系统工程师首先分析通过演播室同步系统输出给 VX 的同步信号是否丢失，通过示波器检测，BB同步信号并未丢失，同步相位与切换台系统有相位差，只有相位完全相同才能精确同步。
3. 画面运行不流畅
在《重庆第1眼》栏目录制过程中，发现1号摇臂在镜头运动过程中出现画面不流畅、卡顿的现象，经过对跟踪数据、空间校准、延时校准等系统检测，最后发现其中广角镜头的内部模块在变焦过程中出现不连续，更换镜头后现象消除。
NO.3
运行和使用效果
第 1 眼新闻 XR 演播室已完成从系统建设到调试，并正式投入重庆卫视《重庆新闻联播》《第1 眼新闻》《今日关注》等日播节目的制作，以及重新新闻频道各日播节目的直播。通过宏大的虚拟场景，结合重庆山城独有的景观特色，将新闻节目与新闻实景和虚拟相结合，给观众带来了前所未有的新闻体验。系统运行一段时间以来，稳定流畅，界面操作简单易用，设置一目了然。
这是国内第一家新闻类演播室对XR新技术进行的一次大胆创新与尝试。通过目前重庆新闻频道和重庆卫视多档日播节目的呈现效果，特别是2024版《鸟瞰新重庆》拍摄中使用XR技术的效果来看，都给观众带来了全新的视觉体验，期望以后在更多的新闻直播栏目中使用XR沉浸式体验。
NO.3
结束语
重庆广播电视集团（总台）第1眼新闻在已经具备高分辨率动画创作、高精度数字场景制作和三维扫描建模等高新视听生产能力的基础上，率先在国内新闻行业内完成了全流程XR新闻演播室体系的改造建设，采取“系统分离、功能独立、景观融合”的设计理念，是新闻类XR全场景制作、全流程直播的一次大胆尝试与创新，其以新质赋能，打造全国一流的大视听新媒体。
end
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
参考文献
[1]李俊杰. 广播电视台XR沉浸式演播室设计与实践[J]. 广播与电视技术, 2024, 51(04): 60-66.
[2]侯佳. 虚拟制作中的AR、MR与XR[J]. 现代电视技术, 2021, (07): 94-96,87.
[3]张浩, 王雪莹. 浅谈XR沉浸式演播室[J].数字传媒研究, 2021, 38(12): 49-51.
[4]金凌燕. XR虚拟制作技术在广电领域的应用[J]. 电视技术, 2024,48(07): 79-81.
《广播与电视技术》、“广电猎酷”广告经营与商务合作代理：
北京中广信通文化传媒有限公司
联系人：李聪
联系电话：18518221868
好文共赏请转发 有话要说请留言