2024年4月4日
By 1月时特约编辑
专题文章

视频编解码器的现状2024

I自从MPEG编解码器的爆发带来了VVC、LCEVC和EVC以来，已经过去了3年多. 而不是气喘吁吁地鼓吹每一个个位数的质量改进或设计胜利, 我很快就会让你了解质量的最新情况, 可玩性, 并使用最常用的视频编解码器，然后探索新的编解码器相关的业务和技术的进步.

对普通读者的一个警告:2023年最重要的编解码器相关事件是，你可能需要付费才能使用它们. I don’t mean royalties on hardware or software decode; I mean content royalties. 如果这个想法会让你夜不能寐，也许你应该跳过这篇文章.

它的性能如何??

我们采用新的编解码器，因为它们能够进入HEVC和HDR等新市场，也因为它们节省了我们的带宽成本. 2023年5月，我在流媒体 East做了一个题为 2023年选择编解码器其中包括所示的图表图1. 我主要介绍了像x264这样的开源编解码器, x265, 和libaom, 以及LCEVC和弗劳恩霍夫版本的VVC. 这些编解码器的不同版本将提供不同的结果，我将稍微讨论一下. 所有编解码器的评级与x265相比, 哪个归一化为100%, 我从莫斯科国立大学(MSU)借用的一种有用的表达技巧.

编解码器效率

图1. 相对编解码器性能

有许多编解码器的比较，都呈现不同的结果. 在高层次上，然而，大多数研究表明，如果你放弃H.264用于任何其他编解码器, 您可以显著降低视频的比特率，同时提供相同或更好的质量. 当涉及到HEVC和VP9时，Bitmovin发现这两种编解码器并驾齐下从2020年开始研究特别是在一个完整的比特率阶梯上. 我的测试结果大致一致.

图1还显示，与HEVC或VP9相比，AV1提供了有意义的节省, VVC比AV1效率更高. LCEVC performance depends on the base layer; with an HEVC base, 它提供的质量比x265高22%.

编解码器在哪里发挥作用

虽然我们喜欢比较编解码器的质量, 与采用相关的最重要的考虑因素是编解码器的作用. 很明显, 只有在能够解码和播放用该编解码器编码的视频的设备上才能节省带宽.

通常，在分析可玩性时，我们会考虑三个市场:浏览器、手机和客厅. 它们的兼容性估计见图2. 其中一些估计来自可靠的来源, 比如我可以使用吗?, 其中列出了与其他技术兼容的技术, 和 ScientiaMobile该公司追踪手机之间的硬件支持情况，至少是对AV1和HEVC的支持情况.

图2. 按设备估计硬件支持

对于未涵盖的数据点，我非常礼貌地询问吟游诗人对于每种编解码器和市场的估计总体支持百分比. 如果你在读这篇文章流荷兰国际集团(ing)媒体, 我的编辑们认为这是有用的信息，但也有一些明显的警告, 我希望你也一样.

2023年最大的编解码器采用新闻可能是苹果在iPhone 15 Pro和iPhone 15 Pro Max中添加了AV1解码. 无疑是积极的一步, 这需要1-2年的时间才能将硬件AV1支持的安装基础提升到大多数发行商认为具有吸引力的水平.

如前所述，当涉及到移动设备时，图2中的表涵盖了硬件回放. 但是软件呢?? 这个问题问得好, 特别是考虑到软件播放会影响播放帧率和电池寿命. 举个例子， Meta在Reels中部署了AV1，尽管它花费了相当大的开发努力. YouTube多年来一直在提供AV1编码的视频，但在没有硬件支持的情况下，它似乎无法将AV1传输到手机上.

一个供应商，总部设在印度 MX的球员, 已经通过软件解码将VVC部署到移动设备, 而其他一些厂商发布的研究报告显示，iOS和Android设备上的播放帧率非常高(下载摘要在这里). 仍然, 大多数主流发行商倾向于避免在移动设备上部署新的编解码器，直到硬件播放在安装基础上有足够大的数量. 这里的主要例外是LCEVC, 哪一种增强型编解码器可以在大多数没有硬件支持的平台上有效运行.

谁在用什么?

了解每种编解码器目前是如何使用的，以及发行商计划在未来如何使用它们，总是很有趣的. 2023年，Telestream复活了Encoding.com总是有用的“全球媒体格式”报告，其中详细说明了编码的编解码器.Com于2022年为其客户制作. 这些数字加起来是100%，代表该公司2022年产量的100%。图3).

图3. 2022年电视流/编码的编解码器分布.com编码

请注意，WebM包括VP8和VP9，但主要是VP9. 不出所料，AVC (H.264)占主导地位, 其次是HEVC, 考虑到TNT这样的优质内容客户，这并不奇怪, 狐狸, Tubi, 英国广播公司, 美国有线电视新闻网, 美国全国广播公司, 孔雀, 和nbc环球. 还要注意编码.com现在被称为Vantage Gateway.

图4 显示了VOD的估计编解码器使用情况 Bitmovin第七届年度视频开发者报告. 这是一项行业调查的结果，而不是“全球媒体格式”报告, 哪些详细说明了实际生产统计数据.

图4. “Bitmovin第七届年度视频开发者报告”中当前(蓝色)和计划的编解码器使用情况

这里的数字加起来超过100%，因为受访者使用不止一个编解码器. 蓝色的数字是目前正在生产的编解码器, 而红色的数字是计划在未来24个月内实现的编解码器. 再次,H.264和H.265的相关结果并不令人惊讶.

AV1的使用是一个谜. In Bitmovin第六届年度视频开发者报告, 14%的受访者声称他们正在使用AV1, 42%的人计划在12-24个月内实施. 在目前的报告中，这两个数字分别降至8%和32%. 调查对象的构成没有明显变化, 这些数字很难调和.

也就是说, AV1并不是唯一使用率下降的编解码器:VVC从目前使用的15%和计划中的29%下降到使用中的7%和计划中的12%. 这可能是因为流媒体行业对新编解码器部署的热情正在减弱.

它要花多少钱?

在质量和兼容性之后，大多数生产商考虑的是成本. 这就是事情变得有趣的地方. 多年来，现状是这样的:

所有基于标准的编解码器，包括H.264, HEVC, VVC, 和LCEVC, 是皇室吗?, 有一个或多个专利池和明确的费率结构. 然而, 绝大多数版税用于硬件和软件播放设备, 不满足.
谷歌一直坚称VP9是开源的，而且没有版税, 开放媒体联盟也为AV1做了同样的事情. 然而，在2020年3月，专利池管理员 Sisvel宣布了两个专利池， VP9和AV1各一个. 然而，根据许可条款，Sisvel只对播放设备收取版税，而不是内容.

10月. 2023年，Avanci推出了它的 Avanci视频平台该公司正针对视频出版商收取内容相关的版税. 这是我们从常见问题解答:

谁应该从Avanci Video获得许可?

互联网视频流媒体公司使用五种标准中的任何一种为其用户提供互联网视频流媒体服务.265 (hevc).266 (VVC)， VP9, AV1和mpeg - dash -可以选择从Avanci Video获得许可. 我们的授权计划对所有互联网视频流媒体公司开放，包括基于订阅的娱乐服务, 基于广告的视频分享网站, 社交媒体和视频信息平台, 以及视频会议提供商.

您可以看到包含在池中的编解码器，其中不包括H.264, 可能是因为许多相关专利的20年专利保护即将到期. 平台上有26个专利所有者，他们拥有所列技术的各种专利, 包括来自Sisvel游泳池的几个. Avanci不提供版税费率.

甚至在Avanci宣布之前, 似乎编解码器相关的专利所有者正在努力开始向内容所有者收取编解码器的使用费用. (见你的编解码器将花费你什么:罗伯特J.L. 摩尔谈论Avanci视频编解码器专利池启动与律师罗伯特·J.L. 摩尔谈到了Avanci的百家乐软件池和之前在内容版税方面的努力.)底线是2023年之前, 假设发行商可以使用先进的编解码器，而不必担心编解码器版税的可能性，这是相对安全的. 不幸的是，这种情况已不复存在.

人工智能即将到来

在过去的12-14个月里，人工智能对我们的日常生活产生了巨大的影响, 特别是在工作中. 人工智能什么时候会影响编解码器领域?

看来已经发生了. 图5 显示了MSU视频编解码器比较2022的主观结果, 在2023年11月上映. 与图1一样，x265是100%的参考编解码器，其他编解码器的效率或高或低. 这里越小越好, 你们可能注意到了, 最小的是腾讯TVC, 它比腾讯的VVC编解码器(VVC也是H.266).

图5. 腾讯TVC, 在莫斯科国立大学最近的一项研究中，它是性能最高的编解码器, 有一个AI组件.

什么是TVC? 我们从腾讯的新闻稿中了解到:“TVC继续克服长时间标准迭代造成的压缩瓶颈, 优化新人工智能编码工具引入的高编码/解码复杂性, 并通过对编码工具的彻底优化，满足定制化的编解码需求, 快速算法, 工程和比特率控制.“很难从噪音中分辨出人工智能实际参与了多少, 但这并不是人工智能与编解码器有关的唯一例子.

深刻的呈现一家专注于开发先进视频压缩技术的人工智能初创公司. 由伦敦帝国理工学院的两名学生于2018年创立, 深度渲染使用人工智能来智能地分析和重建视觉数据，以最大限度地减少高压缩率下的工件. 它声称它的编解码器已经提供了5倍小的视频文件大小, 目标是提高50倍. 深刻的呈现在2022年推出了这项技术，并在2023年获得了900万美元的A轮融资. 此外，它还被选为2023年英特尔创业创新者奖的获奖者. 你可以看到公司介绍视频.

同样值得追踪的是动态图像, 人工智能(MPAI)倡议的音频和数据编码, 是由列奥纳多·恰里里昂创立的吗, 谁也是MPEG的创始人. MPAI致力于通过人工智能提高视频编码技术, 尤其是EVC编解码器.

MPAI令人印象深刻的不是增强的目标领域的具体细节, 哪些是内部预测, 超分辨率, 循环内滤波. 而, 这是其研究的重点, 其中包括用于健康应用的人工智能, 联网自动驾驶汽车的人工智能, 以及用于虚拟世界和人机交流的人工智能(图6).

Ai和编解码器

图6. 其中一个MPAI标准涉及联网自动驾驶汽车.

如果你是广播或媒体类型的, 你完全有理由嘲笑这些基于人工智能的开发工作将立即影响你的工作, 因为编解码器需要花费数年时间才能渗透到操作系统中标准采用和部署的繁琐过程中, 吃嫩叶的动物, 和设备, 更不用说编码器和转码器了. 然而, 对于封闭的应用程序，如会议, 自主车辆, 甚至是医疗设备, 一个供应商同时控制等式的编码和解码, 这些编解码器可能(就像镜子说的)比它们看起来更近.