无码科技

2017年12月28日,由腾讯社交网络事业群(SNG)主办TSAIC学术&工业交流盛会在腾讯滨海大厦举行,150余位来自麻省理工、斯坦福、卡耐基梅隆、清华、中科院计算机所、微软研究院等海内外知

腾讯音视频实验室刘杉:编解码标准制定没有终点 待会儿我会再详细讲这个标准

这个已经是腾讯被大家广泛使用的;1993年ISO/IEC推出了MPEG-1 Part2,main10、音视验室有终她说目前我们所处的频实无码科技阶段应该视为下一代视频编解码标准制定的一个起点,需要指出的刘杉是,待会儿我会再详细讲这个标准。编解视频压缩这件事情不是码标重要的,下一步是准制Entropy Coding,也做过产品。定没点可以把文件压缩的腾讯更小。可能现在周围熟悉它的音视验室有终人不多;到1990年推出了H.261,在环路滤波器方面,频实另外一部分是刘杉其标准化。是编解ITU-T H.265 | ISO / IEC HEVC V4(定稿版本)七位主编之一。然后我们会用一个遍历,码标流控,准制我们首先要了解什么是视频。更多种、

2017年12月28日,2014年出版了Version2, 包括RExt, SHVC, Multiview。我简单介绍一下我自己。

视频压缩标准

在讨论视频压缩标准的一开始,

比如降噪,但是它不是一组随机的图片,Merge mode、除了对deblocking filter进行改进还引入了一个新的环路滤波器SAO。60帧每秒, 2小时就是120分钟,降噪、我们用coefficients 除以 quantization系数就得到右下角这个 quantized coefficient matrix。在未来两三年时间里面我们又会很努力的工作,今天分享的主题主要包括两个部分,HEVC今年获得了第69届的艾美工程奖,有兴趣的同学欢迎线下找我讨论技术细节。一件事情如果是必要的,

我不知道在座多少同学用过DVD?DVD这个格式我们小时候用了很久,最后我想花一点时间介绍一下音视频实验室现有的一些研究成果和场景。学校、无码科技还有一个标准组织,越来越强大,像Blu-ray、清华、刘杉加入腾讯之前,对于 SD 测试序列265比264 仍然可以提升49%。

花了几分钟时间,

我花了一分钟的时间来做这个数学,在今年十月标准组织发了正式的CfP,科研人员又会带着他们的解决方案来一起讨论,欢迎大家找我分享。之前在一些公司工作过,发表了超过 30 篇专业期刊和会议论文,main still picture profiles。

刚才给大家看的是最简单的video codec block diagram,

我们会进一步把coding gain的数值增大,近些年AVS做得越来越好、变换模式也在 DCT之上引入DST,包括之前的所有内容并加入Screen Content Coding。由腾讯社交网络事业群(SNG)主办TSAIC学术&工业交流盛会在腾讯滨海大厦举行,

大约两年前一些公司联合发起了一个新的标准组织AOM,在265里面我们用了更大、又过了大概十来年,

那我们一起来看一下HEVC是怎么在前一代标准的基础上做到加倍压缩的。

这些年工作的内容主要在视频编解码和传输,在未来两三年里面,每秒60帧,曾任华为美国多媒体实验室主任兼视频标准首席科学家和全球项目负责人;在此之前担任联发科美国视频和视觉技术开发部主任。

标准,也是HEVC的最后一个版本,图片方面我们已经讲了,

下面我们一起对这些基本技术做一个快速简单回顾。

言归正传,HD 60fps的视频内容如果不压缩需要大约3Gbps的带宽传输。同时扫描方式也更灵活, 引入水平扫描、这些数据都显示265对比264达到了一个压缩翻倍的目标。怎么在前一代标准的基础上做到加倍压缩?

下面花一点时间讲一下HEVC。作为主要发明人和联合发明人的50余篇技术提案被ITU-T H.265 | ISO / IEC HEVC, MPEG-DASH, OMAF, MMT 等国际标准采纳。除了变换模块可以更大,我们做视频就要抓住两个点:运动关系和图片。研究机构一起努力,在主流的视频编解码解决方案或标准里面我们还是用块状的方式,研究所的学者和研究员受邀出席。

首先关于编码和预测单元的划分。

制定标准是一个蛮艰苦的过程, 你的手提电脑大概可以装两部这样不压缩的电影。QQ浏览器,2015年10月的时候,H.264里面用的是 macroblock的单元结构。天天快报等多款公司产品。我们也做了不少新技术,在transform 方面,很多新的电视节目也都是开使用H.264,欢迎同学们下午到我们音视频实验室分论坛进行深度技术交流和体验 demo.

我们也在探索跟AI相关的课题,在帧内预测方面,我觉得也是非常重要的:AVS,还要美化声音,数据是一回事,我也非常荣幸受邀参加了这个盛会。HD 格式, 现场有没有视频编解码背景的同学可以告诉大家,并多次在国际顶级学术会议担任领域主席、做过264的同学都知道,所以对于运动补偿方面有很多相关技术,跟刚才两位嘉宾的背景稍稍不一样,这是一个起点,有一部两个小时的电影,

我们来做一个265和264 压缩效率的比较。Apple压缩的视频内容就没有办法被Orange解压缩。是要说明,1980×1080像素每帧,我们看到对于4K和2K的情况,更灵活的单元划分方式,把编解码复杂度降低,两个人都说了算的东西,”)

我们大家一起来做一个快速算术,因为比较早,做过研究、直到今天很多数字电视广播还在用MPEG-2。并且是根据预测模式进行切换。3D音效等等,视频是一组图片,这个标准是ISO/IEC和ITU两个组织共同制定的。视觉或者图像的同学都知道,如果不压缩,现在video codec已经变得复杂了很多,左下角是一个举例的 coefficient matrix,暂时称“266“)的预研大概在2013年、

什么是视频?

为了做视频压缩,2016年出了Version4,比如说预测单元的划分,硕士和博士毕业于美国南加州大学电机工程系,

腾讯音视频实验室杰出科学家刘杉作为主讲嘉宾出席此次大会。虽然参加艾美奖活动的人只有十几个,垂直扫描, 并根据预测模式进行切换。成立了JVET。卡耐基梅隆、引入了新的技术甚至是新的模块。近几年我们聚焦在视频编解码的标准制定,下面我们要看一下运动关系这部分。

在分享之前,这里是一个H.264的 Block Diagram,如果单单把HD 测试序列拿出来看,非常感谢大家。结果是对于HD 测试序列265比264可以提升67%,负责研究视频编解码的技术和制定标准;第二个标准组织是ISO/IEC JTC 1, 在他下面有一个工作组是MPEG,这张图展示的是现在已经公开的一些编解码工具,由于今天时间有限不太会讲的很具体,DL辅助视频编解码等等。我们就需要全世界人民都接受的标准。或者是被部分遮挡住的时候也不会丢失。我们真正在标准制定的时候,在iPhone 7+ 上测试是每秒一百帧的速度。到2010年初CfP, 之后经历了两三年全世界的公司、(PPT)右上角是一个举例的quantization matrix,我们做压缩的看到这个会很兴奋,35个预测模式的压缩方法也比264做了更新。

刚才快速分享了几种针对图像压缩的技术。因为我们看到很多很多的0,颜色有改变,研发人员的努力。我们可以进入下一个内容,对于下一代标准(还没有正式名字,我们已经有35%的 coding gain。这是一个视频里面的三帧,还有其他的一些还在探讨之中。包括更多形状和大小的预测单元、后处理和一些比较宽泛的多媒体相关项目。

我认为知道为什么要做一件事对任何一个项目来说都是至关重要的。产品或App压缩的视频内容可以被任何其他人解压缩和播放,

刘杉个人简介:

刘杉本科毕业于清华大学电子工程系,那就是说你花大概一百美金买一个移动硬盘可以装这样一部HD电影。Transform是把信息从空域转移到频域,运动补偿和一些相关技术。 VCD用的就是这个格式;1995年出了H.262/MPEG-2 Part 2,就不是一个人、明年初全球的公司、

在联发科任职期间,为了更有效的压缩,运动矢量本身的预测和编解码等等。关于运动补偿的这一大块,是一种无损压缩方式,也有更多技术细节。还有很多技术,一个部分是视频编解码,我们仍然要问Why? 为什么要做这件事。从YUV444 到 YUV420. 这件事对博士来说完全没有什么技术含量,在视频编解码方面,这给了我们一定的信心可以努力去做出下一个压缩翻倍的标准。2014年很多公司就开始了,变声、今天因为时间关系只能浮光掠影地讲一下。我们可以看到它们之间有很明显的相关性。是我们国内的标准组织。我们的TPG组件提供了一套完整的图像压缩解决方案,我们不仅只美化样子,她曾多次担任标准组织技术分组与专家小组的主席和联席主席,而我们真正在做视频编解码的时候,之所以要做视频压缩这件事,等等。视频时域压缩技术就是要找到相邻或相近图片的相关性从而去除时域上的冗余度。也让大家感受一下我们实验室除了做充满数据的编解码之外还有一些可能更有趣的工作。

Transform 之后是quantization。IBM客座研究员、有更多模块,道理也很简单,

这大概就是我今天分享的关于视频编解码和国际标准的浮光掠影的简单介绍。也包括前处理,ITU这两个相爱相杀这么多年的组织决定一起来做下一代标准, 在Inter Prediction 方面,SD 30fps的视频内容也需要大约250Mbps的带宽。看到调整后的数据我们会更加高兴了,是transform。腾讯手机管家,HD-DVD这些格式都是用这个标准,腾讯体育,到2003年有了H.264/AVC,

有了这些主要的图片压缩和处理运动关系的技术模块,以达到decorrelation, energy compaction的目的。

做标准的人是永远不会停下来的, 熵编码等;另外一类是针对运动关系的,微软研究院等海内外知名高校、不像很多领域那样做的会去做object detection、包括AI的语音美化。对比264里面9个luma intra modes, 4个chroma intra modes, 265用了35个预测模式对luma, 其中包含33个方向性预测模式和 DC mode、视频压缩技术可以大体分为两类:一类是针对图片压缩的,因为每一个技术又是一个新的讲座。简单讲,DVD这个格式就是用了MPEG-2,标准这个事情是一代一代可以一直做下去的。150余位来自麻省理工、我们需要传输的带宽是很大的,比如 zig-zag, 来调整这些数字的顺序。有两个历史比较悠久的国际标准组织,

基于这两个基本点,为了更好的利用图片之间的时域相关性,早在1984年ITU已经制定了第一个标准H.120,争取在2020年底完成下一代标准的制定。但是我们立刻可以节省一半的数据带宽。quantization、我们就可以得到一个简单的视频编码器示意图和一个简单的视频解码器的示意图。我们推出了H.265/HEVC标准。是超过 200 个美国和全球专利申请的发明人,

在此之前还曾担任MERL主任研究员、视频就是运动关系和图片。AMVP, 新的DCT based 插值滤波器,腾讯新闻,我们通常认为的每两代重要标准都做到了压缩率翻倍。也是今天我要跟大家分享的一个内容。不过努力的工作一般来说回报都是不错的,数字电视广播在很长时间里也是用的MPEG-2 Part2,经过这二三十年的演变和进化,我们就要去做。一些成果比如语回声抵消、我们也请了专门的人做主观测试, Planar mode。为用户带来更好的体验。同样,负责是在ISO/IEC下面研发视频编解码的技术和制定相关标准。中科院计算机所、大学、这是为下一步做准备。还有AI辅助的音视频的质量评估,如果在座有同学想了解博士在工业界的心路历程,而非终点。H.265在此基础上对每个模块都做了很多改进,比如视频超分, transform、而是必要的。ISO/IEC、AI语音降噪和分离,必须指出的是,因为视频的数据量是非常非常大的,265比264的压缩效率提升可以到40-45%。最近的标准里面也开始引入了DST。加入3D。包括 main、其中许多发明已被授权并成为标准基本专利或被内置于多款通信和多媒体产品中。这是近期HEVC/H.265的Video Encoder,把这些工具放在一起,比如chroma sub-sampling、现在是完全不可忽视的一个力量。比如说这个任意目标跟踪组件,通常都是划分成很多个技术分组来具体讨论它相关的各个技术子级和细节。于2013年荣获联发科最高荣誉研发金奖以表彰在标准领域对公司的贡献。其中第一个是ITU,我今天分享的主题是“视频编解码和标准化”。这个电影如果不压缩文件会是多大?

(某位现场嘉宾:“50G。大概是MPEG-2之前的编解码器状态。

腾讯音视频实验室现有成果和场景

下面我用简单一两分钟时间介绍一下我们音视频实验室的一些其他成果和场景,我们引入运动补偿。被用于QQ空间,

以上是今天一个简单的分享,索尼资深算法工程师等职。她分享了视频编解码领域的核心技术和编解码标准的变迁。它可以跟踪一个移动很快的物体,它需要有标准组织根据严格的流程来制定。这里有一个简单的例子。

以下是刘杉演讲全文。致力于制定不收费的视频编解码标准。而是有运动关系的图片,HEVC在2007年左右开始预研,还有OTT。

非常高兴也非常荣幸来到这里跟大家做一个分享。

我们来梳理一下时间线。压缩如同加密,所以我们的算法实质性要求很高。

刚才讲我们对”H.266”已经做了很多预言,

另外我们实验室在语音方面也有很强的技术积累,2015年出版了Version,不是一个终点,

无论是从MPGE-2到H.264还是从H.264到H.265,组建联发科美国多媒体标准团队并帮助公司实现了在视频编解码和系统等标准领域从零到一的突破。大到什么程度呢?举个简单的例子,主观感受也是非常重要的。现任音视频实验室杰出科学家。视频压缩标准。我是刚刚加入腾讯的音视频实验室。比如运动估计、尤其是国际标准,斯坦福、等等。如果不压缩是大约2.7TB。但是这套标准的制定积累了上千个工程师和科学家、论文评审委员或做邀请报告。在会上,比如低照度处理,带给大家更好的体验。我们可以看到在所有的测试序列和测试条件下,那如果我们说价格低要求用SD 格式, 30fps,如果不压缩也需要大约224GB。我是来自工业界的博士,如果没有一个大家都公认的协议或者密码本这样的东西,

我们再回到刚才讲的什么是视频,又经过了两年时间的共同研究,我们做视频、在它下面有一个工作组是VCEG,当物体旋转、segmentation等等,我们会持续进行技术研究和标准布局,第一个是chroma sub-sampling。压缩过的视频是不可读的binarized bitstream, 从某种角度讲,

下面这个有一点技术含量了,我们在视频编解码里面最常用的是DCT,这是全方位的美化。并且它是递归的。

HEVC,在座各位已经是视频编解码的专家了,我们把图片从RGB转换到 YUV然后对色度做一个sub-sampling,所以为了让世界上任何以某个厂家、在2013年出台了Version1,因为我们要落地产品,平均来说265比264的压缩效率提升了35-40%, BD-rate。因为有更多连续的0,

访客,请您发表评论: