“元宇宙”的概念在近段时间爆火，国内外互联网巨头包括微软、facebook、英伟达、腾讯、字节跳动、网易等纷纷宣布入局。甚至前不久罗永浩也在社交平台上表示：“我们的下一个创业项目，竟然也是一家所谓的“元宇宙公司”。”

这个早在1992年就出现在科幻小说里的概念，一时间成为了2021年最火爆，最流行的网络热词。按元宇宙Roblox公司的说法，一个真正成熟的元宇宙，应该具备八大要素，分别是：身份、朋友、沉浸感、低延迟、多元化、随地、经济系统、文明。

作为改变人们生活形态的新媒介，直播和元宇宙其实也有着一定的相似之处。在云技术+音视频的技术加持上，直播有了更广阔的应用场景。低延迟技术让实时直播在在线教育场景中实现讲师和学生间的高质量教学互动，VR技术让房产直播实现沉浸式的远程VR看房体验，提升用户体验……那么在直播中，云音视频技术又是如何进行应用的呢？

前段时间，由中国企业直播服务市场第一梯队服务商-微赞直播主办的2021第二届中国企业直播创新峰会就邀请了腾讯云视频业务产品总监黄斌，围绕“云技术+音视频 直播新时代的技术场景”的议题，为与会的观众带来了一场干货分享。

本文主要整理了其精彩观点内容，为不能到场的用户奉上一场技术盛宴。

腾讯云视频业务产品总监黄斌

全真互联时代的现在进行时

腾讯董事会主席兼首席执行官马化腾曾说过这样一句话：“移动互联网十年发展，即将迎来下一波升级，我们称之为全真互联网。从实时通信到音视频等一系列基础技术已经准备好，计算能力快速提升，推动信息接触、人机交互的模式发生更丰富的变化。”元宇宙的概念在近期爆火，全真互联时代也即将到来。全真互联时代所呈现出的更高清的画质体现、低延时/实时互动、沉浸式体验等能力，都涉及到音视频和通信的底层技术。

而音视频最底层最核心的能力就是编解码。目前最通用的编解码标准就是H.264和H.265，但目前国内外的研究机构乃至业界已经开始积极拥抱下一代的编解码，比如H.266和AV1。相比上一代的编解码标准H.265，新一代编解码H.266能在不影响视频传输清晰度的情况下，将压缩比例提升了50％。

以H.266为例，它可以在相同编码单位和分辨率的情况下体现更多细节，达到更为高清的视觉效果，还可以在有限带宽下传输更高质量的网络视频，节省一半左右的带宽。因此尽管基础编解码在用户感知中并不强烈，但却起到了非常重要的作用，犹如春风化雨，润物细无声。

在传输效率上，除了以硬核技术提升媒体处理的编码效率、压缩质量外。在媒体传输过程中，媒体内容通过技术进行深度的理解，从而在内容的生产加工过程提升效率。极速高清就是其中一种技术，不仅能实现智能场景识别、前处理（画质增强、超分插帧、HDR、去抖动/去划痕/暗景增强等）、智能编码、后处理(超分/LCEVC)等，而且还能在同等画质的情况下，节约45-50％的带宽和成本。无论是在室内峰会场景、室外体育比赛场景下，通过AI的反复训练都能识别到具体的场景，匹配相应的编码参数，在同样带宽的情况下，让实时视频经过处理可以提升30％的画质观感。

第三则是视频生产过程中AI在多模态中的处理能力。举个例子，在峰会的现场直播视频中，AI处理能力可以实现自动挑选视频中的某一帧画面和图片作为媒体发布的内容，同时还能进行视频的拆条、语音识别、人脸识别、片头片尾、精彩打点等多模态处理，AI的多模态处理能力为内容的生产加工提升效率。

除此之外，音视频的传输，呈现出从标准延迟到低延迟、超低延迟再到实时通信的趋势，更重要的是，这个趋势是正在进行中。比如腾讯最新推出的新社交玩法——实时合唱/实时KTV就是基于音视频传输的实时通信技术要求上进行的。在实时合唱过程中，延迟要求在70-80毫秒间才能实现。传输的延迟演进创造了非常多的创新的玩法和互动的模式，而这些新互动玩法也反过来助推传输的低延迟技术发展。

实时音视频重新定义新社交场景

新社交场景是基于传统社交场景的一个创新，互动是新社交场景中一个重要特征。在新社交场景中，语聊、云沙龙、在线KTV、实时合唱，多人实时互动等都对实时通信和实时音视频提出了新的要求。比如更丰富有趣的互动玩法、更沉浸式的线上互动体验，多屏幕同时共享的娱乐场景等，都是实时通信和实时音视频在新社交场景下的衍生。

以在线教育场景为例，不论是大班课、小班课、公开课还是1v1在线教学，超低延迟技术的加持，让实时直播在在线教育场景中可以实现讲师和学生间的高质量教学互动。

介于普通延迟和普通标准的几秒钟直播和无延迟实时通信之间的快直播，延迟则是在1秒左右。相对于实时通信，快直播的成本比较低，不但能兼顾低延迟的直播需求，也能满足业务层面中的场景化要求。比如在秒杀抢券、直播答题互动中，快直播能让主播和互动的用户体验感更佳。这对企业直播和商业直播场景也是一个重要的创新。

在云端协同场景中，实时音视频技术可以助力云端协同，降低内容生产沟通成本，提升效率。从异步的协同到实时的协同，音视频低延迟技术打通内容生产全链路，实现云创生产。此外，房产直播中的VR看房，也让用户实现了沉浸式的看房体验，从而提升场景转化率。在金融场景中，基于实时音视频构建的虚拟营业厅可以实现实时远程的面签、开户和客服。线下金融场景线上化，《远程音视频手机银行技术规范》的修订，也说明了线上金融场景的大有可为。

实时音视频技术在更广泛场景中的应用趋势，则是视频重新定义应用。在以往的一些3D渲染或者游戏的场景，所占用的GPU资源和低延迟的要求都非常高，但通过超低延迟技术的串流，可以在远端的云上进行实时的操作，即使是普通的千元机也体验3A大作。实时云渲染在游戏行业和智慧产业都有着非常广阔的应用场景，比如元宇宙互动云游戏、微端&云试玩、数字孪生实时渲染、医疗云渲染、云展厅等，云渲染通用能力的衍生拓展，助力产业变革发生。

全真互联时代，携手共创未来生态

在实时音视频技术的创新应用中，腾讯云RT-ONE™音视频通信网络为其提供了坚实的技术基础，全球2800+CDN加速节点、超过200Tbps+带宽储备、30亿+分钟日通话市场、10亿+IM全球月活形成了一个强大的基础设施。在这基础设施之上，加上腾讯全面、易用、稳定的音视频通信解决方案和合作伙伴在业务层面的创新和尝试，构建了一个完整的音视频生态。

无论是底层的基础设施通信网络、IM基础网络、以及流媒体分发的网络，还是包括云端的媒体处理编解码和实时通信的技术在内的SDK产品，生态伙伴在企业直播、办公协同等垂直的场景化应用中，都能实现很好的互补。

腾讯云打造的V+俱乐部通过生态合作伙伴联合共创的模式，同时提供产品联合、技术服务、渠道合作等全链路支撑，为客户提供更完善的云产品和服务，共同开拓全真应用场景，微赞直播作为腾讯云V+俱乐部的首批创始成员单位，也将携手腾讯云共创百亿市场和客户价值。