产品经理说|沉浸式三维声,如何打开视听新体验?
你有没有过这样的体验?
明明戴着耳机看电影
影片中传来的敲门声好像就在自己的房门外
银幕中直升机出动的声音
又让你感觉到:螺旋桨仿佛就在头顶盘旋
当时就和主人公一起紧张了起来~!
这,就是“声”临其境的沉浸感
为了打造更具空间感与临场感的视听体验
当虹科技推出沉浸式三维声解决方案
声声入耳 如临现场
今天,我们请到了产品经理兴哥
听听他怎么解读(夸夸)我们的新方案
01
Q:沉浸式体验为什么需要三维声?
@兴哥:
视听不分家,从标清、高清到如今的4K/8K超高清,视频的清晰度不断跃升。声音也经历了从单声道、立体声、环绕声到三维声的演进。
真实世界的声音来自环境的四面八方。对比目前主流的环绕声(例如5.1和7.1),三维声打破了传统平面声场的限制,在水平基础上增加“垂直高度感”,将声音还原到了和真实世界一样的立体空间。
杜比全景声系(Dolby Atmos)是大众比较熟知的三维声技术标准。我国自主知识产权标准的三维菁彩声(Audio Vivid)也已正式进入推广落地阶段。
沉浸式的三维声配合高清晰度、高色彩还原度的超高清画面,能够真实再现场景,给观众以更具沉浸感、参与感的体验。
02
Q:沉浸式三维声是怎么实现的呢?
@兴哥:
沉浸式三维声的实现在技术上可以依托三种形式:基于声道、基于对象、基于场景。
其中,基于对象的技术将声源看作对象,对音频数据和关于声源的元数据进行实时渲染,能够实现极为精确、流畅的声音移动。
该技术摆脱了重放扬声器数量和布局限制,可以适应更多的回放环境,是沉浸感与空间感体验的最佳方式。
但如果将混音中的每个声源都视为一个单独的对象,则通道数和文件大小会惊人地增加,对数据进行实时解码渲染就需要消耗大量算力和带宽资源。
因此在实际应用中往往采取混合格式,将基于对象的元素与基于声道或场景的元素结合在一起,促进三维声在直播等在线视频领域的广泛应用。
03
Q:我们的三维声解决方案具备哪些优势?
@兴哥:
一是打通三维声制播技术的端到端全链路
我们的沉浸式三维声解决方案打通了从音频信号采集、制作、编码到终端呈现的制作全链路,保证端到端清晰传递效果。
方案采用【基于声道(5.1.4)+基于对象(6个声音对象)】的三维声技术方式,在提升计算资源利用率的同时,构建沉浸式和交互式的三维立体声场。
创作者能够对每个声音元素进行精准放置和灵活移动,释放创意表达自由。手机移动端、户外大屏等各终端用户,除了能够听到真实沉浸的三维声听感,还能够享受到个性化声音效果的互动体验。
二是具备完备的产品体系和优秀实践案例
长期以来,当虹科技在超高清视音频制播领域积累了深厚的技术优势和项目经验,并为创造更沉浸的视听体验持续努力。
我们在积极参与《三维菁彩声技术白皮书》等标准编制的同时,加快产品落地,以应用示范推动三维声普及,繁荣三维声生态。
目前已经支持总台、咪咕等合作伙伴,在百城千屏、春晚、世界杯等大型体育赛事和综艺文化活动中打造了多个优秀实践案例。
04
Q:关于用户体验,可以举几个例子吗?
@兴哥:
我个人是个足球迷,那就先从世界杯说起,再聊聊大众喜闻乐见的春晚。
一是互动性。三维菁彩声在2022卡塔尔世界杯上的亮相为观众带来了一些惊喜。不管是观众的呐喊声、齐唱国歌声,还是裁判的哨声,赛事解说声,从“场”到“点”的声音元素都可以作为独立的声源对象。
这种交互式混音控制可以实现前所未有的个性化体验:用户可以选择自己喜欢的解说员,像是詹俊或张指导,也可以选择没有解说来感受现场热烈的气氛。
二是空间感与方位感。2023年春晚首次采用“8K超高清+三维菁彩声”直播。三维声的“在场感”可以引发观众强烈的共鸣,抓住观众注意力。
开场的《花开种花家》音乐一响,喜气洋洋的节日氛围扑面而来。通过实时双耳渲染监听,线上观众们也能跟着音浪一起合唱、欢呼,这就是大家经常提到的“颅内蹦迪”。
更形象一点的描述大概是:听整首歌都是这样的“↓_↑→_←↖_↗”,甚至是“感觉成龙他们在我周围跑来跑去”。
总之,三维声的应用,不仅能让观众置身于其中感受到声音的无处不在,还能捕捉到声音对象在各个方位自由移动的足迹,获得一种“听声辨位”的真实感。
未来,我们会继续拓展三维声在车载影音、家庭影院、虚拟现实、互动游戏等多样化的场景中应用。