海峡经济网 时间:2020-09-28 14:08
2016 年被业界称为VR元年,从Facebook的Oculus到HTC的Vive,层出不穷的VR设备和VR内容让用户逐渐体验到了VR的魅力。随着5G、云、AI等技术的不断突破,VR视频、VR直播已从赛事、展会延伸到电商、教育、影视等行业,VR产业迎来前所未有的发展。IDC最新发布的《IDC全球增强与虚拟现实支出指南》预测,到 2023 年,中国AR/VR市场支出规模将达到652. 1 亿美元,较 2019 年的预测(65. 3 亿美元)有显著增长。然而,在视频向高清、超高清发展的趋势下,VR视频行业仍面对码率大、带宽成本高,视频卡顿,延迟大,内容匮乏等痛点。
近日,在第二十届虚拟现实大会上(ChinaVR 2020),金山云高级研发总监樊鸿飞针对以上难点,重点介绍了金山云在VR直播和超高清方面的整体解决方案和技术实力。
沉浸式VR直播 金山云提供完整解决方案
“沉浸式技术要实现大规模商用,需解决三大难题:VR内容、硬件设备、变现与生态,其中VR内容对技术要求很高。”樊鸿飞介绍道,通过集智高清、FOV编码、金山云魔镜平台、低延迟直播等技术和服务,金山云在VR内容层面可提供高品质、低成本的整体解决方案。
基于自身CDN分发平台,金山云提供VR视频从采集到播放的完整端到端一体化解决方案,支持VR视频拼接、云端实时转码,为用户提供超高清、低延时、不眩晕的VR新体验。目前,金山云VR直播解决方案已在某秀场直播平台实现落地。
金山云集智高清、KSC265、VR分块传输方案保证在画质前提不变的情况下,相比普通VR视频可降低75%码率,大幅降低带宽成本。在VR直播方案中,通过精巧的算法设计以及强大的边缘计算能力,保证视角切换时用户能及时无感知地切换到高清Tile。金山云VR分块传输方案稳定的云端编码技术,还能有效控制新旧视角切换数据延时维持在30ms-60ms以内,有效消除晕动现象。
“此外,金山云VR直播解决方案支持iOS/Android手机、平板、头盔等多种头显播放设备。同时,金山云VR SDK支持一键接入、HLS形式直播/点播业务以及多种开放接口定制开发,方便用户多终端实时享受。”樊鸿飞表示。
AI集智高清 提升VR视频画质的利器
在视频行业高速发展的过程中,用户的痛点也在发生变化:首先是用户终端的变化,从电视、PC、Pad到手机,再回旋发展到大屏、超大屏,且终端的应用也有了极大的丰富;其次,视频的高清体验不断提升,分辨率从1k、4k到8k超高清,在带宽、网络得到极大丰富的5G时代,VR直播中用户对高清画质的需求将更加强烈。
针对这些痛点,金山云推出基于AI技术与传统图像处理技术的解决方案,集合多种视觉AI与编码技术,通过深度神经网络对视频画面内容进行感知,并通过智能调节编码,优化主观体验,追求更佳的人眼视觉感受。
集智高清拥有四大核心优势:1.集智高清处理后视频传输可节省30%-60%带宽;2.相较普通转码,集智高清可明显提升主观效果;3.通过预分析的场景分类和质量评测,匹配更适合的码控,为编码寻找“最优解”;4.集智高清将视频进行分层处理,对视觉显著部分做画质增强。
樊鸿飞表示,金山云集智高清具有的优势离不开其背后的四大核心技术支持。利用超分辨率技术进行画质修复,包括采集端由于编码、采集噪声、投影等带来的噪声;感知编码技术可检测出人眼真正敏感的区域,对边缘部分进行保护的同时,分配码率到更重要的地方;通过关注区域,让VR视频中人眼关注区域的视场角有迹可循,针对不同的Tile进行Multiplexing。根据视频本身的内容特征,以及第一次编码的信息,集智高清能自动决策更匹配的编码参数,用户完全不需要感知编码器设置内容,就已解决调参难题。
金山云魔镜平台 高清技术的幕后英雄
视频的高清发展使得用户对视频/图像质量的要求不断提升,其真实体验感受评测难度也相应增加,如何全面客观评价视频画质的质量是否得到提升?“就此而言,金山云魔镜平台可以称得上是高清技术的幕后英雄。因为通过模拟实际的观看体验,金山云魔镜平台真正对‘感知愉悦度’进行评测,并深度解析算法对主观画质的影响,克服AB-test的局限性,不仅能得到‘好不好’,而且能知道‘好在哪’、‘为何好’。”樊鸿飞表示。
金山云魔镜平台能兼容H.264、H.265、AV1 编码标准的视频播放,以在线平台的方式提供图像/视频评测服务,无需下载,且根据具体场景提供三种评测模式:专家模式(全参考模式)、用户模式(无参考模式)和细粒度模式(OAA模式)。
除了平台本身提供完整的画质评测流程,金山云魔镜平台还能帮助企业提供全流程画质评测解决方案,包括根据企业使用场景及样本类型筛选评测数据,定制评测维度,提供评测人数建议以及评测报告分析,并提供客观评价指标的自动计算。
通过高效的主观画质验证,金山云魔镜平台能够帮助企业:实现算法原型短期快速验证;算法长期迭代并提供可度量的画质指标;帮助AI保障泛化性,以满足商业化落地需求。
5G、4K/8K、VR等新技术、新应用与云计算和AI正不断深度融合,用户在未来的直播中将可以获得和现场近乎相同的沉浸式体验,这也是金山云视频云前进的方向和终极目标。
声明:本文由海峡经济网http://www.hxjjw.com.cn/采编(转载请保留)如侵权请与我们取得联系。