技术引领直播未来 腾讯音视频实验室解读直播前沿技术

3月20日，2017“云+视界”大会在北京召开，聚焦视频、直播行业的“新洞察、新趋势、新格局”，集结视频、直播行业的一众行业巨擘。文化部市场司副司长马峰、人民日报总经理叶蓁蓁、腾讯集团高级执行副总裁汤道生、腾讯公司副总裁腾讯云负责人邱跃鹏、腾讯音视频实验室总经理刘晓宇等500余位来自视频、直播、广电、新媒体、金融、电商、文化、娱乐相关全产业链的行业领军人物集聚大会现场，共同探讨直播行业的未来之路。

　　现场，腾讯音视频实验室总经理刘晓宇分享了音视频实验室在直播技术上的发展现状，根据应用场景进行了展示和解析，同时也展望了直播技术的未来趋势。在直播上半场面临挑战之下，技术将引领直播行业未来，助力直播行业高速发展。

　　以下为刘晓宇演讲实录：

　　大家好，2016年是整个直播元年，我们直播SDK从去年开始对外开放，到现在已经有两亿多的终端用户用了我们的SDK。去年其实有很多的直播APP成长出来，但是提供低延迟高互动的直播平台并不多，因为这里面涉及到的技术相当多，这里仅仅是列出了所有用到直播技术的冰山一角。

　　直播技术在垂直行业场景的深耕

　　在直播通用方案的基础上，我们持续的在垂直行业场景上深耕细作，不断的针对场景特点进行技术上的创新，将细微的体验做到极致，下面会详细讲两个场景的案例。

　　首先是K歌场景。音乐对音质的要求非常高，正常情况下人的感知损伤，对音乐的感知非常明显。假如是普通的语音通讯，其实60毫秒的丢包基本上人耳有所感知，但是换作音乐场景，20毫秒可能就会听得非常明显。我们会从采集到传输到播放，将整个链路进行优化，降低整个的感知损伤。第二，我们还给音乐信号做了拉伸、压缩的技术，都是为了抗抖动、丢包产生的损伤以后怎么样去弥补。

　　另一个是金融直播场景。金融场景的屏幕分享不仅是讲K线图，其实在教育场景用的也比较多，这里有一个技术难点，对屏幕编码的要求非常高，这里面会涉及到对屏幕压缩后怎么样传输，还有CPU怎么样去控制。在屏幕分享的过程中，还涉及到一些问题。比如，从语音、视频到屏幕，三方的流量是完全不一样的，怎么样控制这三方的同步，我们也是花了很长时间去解决。

　　技术创新促进直播+AI&VR发展

　　2016年是直播的元年，也是人工智能和VR的元年，我们在这些技术方面有一些思考和研究。首先是语音识别和自然语言处理，直播加上语音识别，会有很多的玩法。QQ早在今年春节的时候，已经有了这样的尝试。在QQ视频聊天的时候，大家可能会出发一些彩蛋，假如跟对方聊天的时候说恭喜发财，我们的界面上就会飘出一个红包，类似这样的语音命令，在直播的场景下也是非常契合的。还有实时字幕和翻译，假如一个老外在你的直播平台，他边说自己的家乡话，他下面会有翻译出来的字幕，他作为一个外国的主播，是不是可以和中国的观众进行无缝的交流。实时变声，QQ本身已经实现了很多，可以变为变形金刚的声音或者搞怪的声音。接下来我们会把某一个人的声音，或者你自己的声音，变成某一个明星的声音。在K歌场景，假如你可以把自己变成某一个歌星，在上面唱歌也是挺有意思的一件事情。

　　在机器视觉方面，外面展台有我们的直播和绿幕的技术。之前技术只是用作于电影制作，现在这种技术已经可以慢慢地民用。我们同事也在尝试非绿幕的一些算法，通过人工智能怎么样可以进行更好的前景和背景的分割，我相信不远的将来这方面会有一些成绩出来。

　　还有手势识别，涉及到人机交互的方向，传统的算法进展不是很大。去年AR的发展，我觉得手势识别技术方向，可能是下一个突破口，因为通过人工智能可以把这方面技术很快突破。有了这样一个全新的进展以后，我们在直播、互动方面，可以让主播和我们的观众进行一个更多花样的互动。

　　最后我会讲一下VR的方向，虽然VR在整个行业来看不是特别成熟，毕竟会有一个起步的阶段。首先会有一些360度全景的视频，在这个过程中我们在不断地打磨我们的基本算法和能力，比如说一些拼接的能力，怎么样进行一些双目渲染，为我们将来做VR做储备。

　　刚才说到很多技术并不是科幻，也不是离我们很远的事情，这些技术很多已经在我们的产品中使用，后面很多都会加入到开放，给更多的合作伙伴提供这样一些能力。

　　我觉得可能从技术来讲，直播的未来可能更多是一种技术创新，不管是AI或者VR，技术创新可能才是直播下一个真正的战场，谢谢大家。

　　据了解，腾讯在音视频实时通信、音视频直播、图像处理、视频处理和语音处理等技术领域拥有十多年的经验沉淀，技术水平已在业内领先。为行业数百个产品提供了音视频技术支持与服务，如QQ电话/视频电话、腾讯云、QQ空间、全民K歌、快手、斗鱼、虎牙、蘑菇街等。

　　腾讯在2011年成立了音视频中心，2015年底向行业开放了其自主研发的SPEAR音视频引擎，目前仅QQ音视频每天的通话就高达12亿分钟，2016年成立的腾讯音视频实验室致力于音视频及图像处理技术创新，为更广大的用户和行业客户提供稳定优质的音视频及图像处理服务。

……