媒体的机器学习:增加现有内容的价值
根据IHS Markit的数据，目前主要市场上超过60%的电视销售都具备超高清(UHD)质量、超高清内容 已经证明了自己是电视制作的主流部分. 未来几年，超高清电视的普及只会越来越普遍, 该研究还预测，到2023年，全球将有5.74亿家庭拥有4K电视机.
然而，超高清内容的可用性落后于消费设备的发展. 生产标准还没有跟上这一趋势, 许多现有的内容将不可避免地以高清形式出现, 720p或1080i格式. 那么，广播公司和服务提供商如何用一致的, 消费者所要求的高品质观看体验?
尽管电视有合理的上变频能力, 集中的方法意味着可以应用更多的百家乐软件来获得更好的结果, 避免了目前存在于不同电视传送方式之间的不一致. 近年来，机器学习在很大程度上已经成熟, 导致这些技术是否可以帮助改善上转换过程的结果的问题.
传统上转换的挑战
上转换技术已经被广播公司使用了一段时间，以提供接近超高清的媒体体验, 没有与这种格式的本地制作相关的主要成本. 这些技术可以在电视/机顶盒或在传输前的广播前端执行. 它最初是在2000年代中期推出高清频道时出现的. 随着超高清电视的迅速普及，上转换也有望填补这一空白. 然而，传统技术很难提供超越高清体验的结果. 电视上变频, 虽然比几年前好多了, 是有限的处理能力和结果可能会有所不同的电视.
基于机器学习的超高清上变频
机器学习是一种神经网络从一组训练数据中学习特征的技术. 用于图像处理, 至少在两个维度上工作是必要的, 处理需要考虑图像的合适大小的小块。. 机器学习技术可用于执行高价值图书馆内容的高级上转换, 使用神经网络创建上转换图像，在视觉上看起来更像原生超高清图像. 这使得提供明显优于高清服务的超高清频道观看体验成为可能, 提供观看超高清频道的动机.
图像往往很大, 建立神经网络来完整地处理这些数据是不可能的. 结果是, 一种不同的结构用于图像处理, 即卷积神经网络(cnn). cnn的结构是通过连续处理源图像的子集，然后处理特征而不是原始像素，从图像中提取特征.
通过利用cnn, 广播公司可以创造出原图中没有的可信的新内容, 但这并没有改变图像的本质. 用于从高清源创建超高清数据的CNN被称为生成器CNN.
神经网络训练过程
为了让CNN生成器完成它的工作, 必须有一个训练过程，其中一组已知的数据被输入到神经网络, 并将输出结果与正确的图像patch进行比较. 当然，为了能够做到这一点，我们需要知道“正确”是什么意思. 因此, 训练的起点是一组高分辨率UHD代表性图像的示例, 哪些可以被下采样以产生高清图像, 然后可以将结果与原件进行比较.
原始超高清图像与合成超高清图像之间的差异通过“比较”功能计算, 然后作为错误信号反馈给生成器CNN. 重复的训练过程, CNN学习如何更好地创建与原始超高清图像越来越相似的图像.
生成对抗神经网络
生成对抗神经网络(GANs)是一个相对较新的概念, 第二个神经网络在哪里, 被称为鉴别器CNN, ，并且在生成器CNN ?的训练过程中对其本身进行训练. 其原理是鉴别器学习检测原始超高清图像和合成超高清图像特征之间的差异. 在培训过程中, 鉴别器看到原始UHD图像或合成UHD图像, 将检测的正确性反馈给鉴别器, 如果图像是合成的, 也反馈给发电机.
使用生成对抗神经网络(GANs)来合成上转换图像中的细节，使观看者能够享受更引人注目的效果, 更高品质的体验. 通过这种方法, 广播公司有可能和潜力以一种更非线性的方式进行插值, 从而达到显著增强的效果.
随着培训的进行, 每个CNN都试图打败另一个:生成器学习如何更好地创建具有原始全分辨率图像特征的图像, 而鉴别器在检测发生器产生的东西方面变得越来越好. 其结果是合成了具有原始超高清图像特征的细节.
采用混合GAN方法
用GAN方法, 生成器在任何地方创造新细节的能力并没有真正的限制. 这样做的问题是，生成器可以创建图像, 同时包含貌似合理的特征, 能在更普遍的方面偏离原始图像吗. 更好的答案是将数学差异和鉴别器的正确性结合起来作为对生成器CNN的反馈. 这保留了细节的再生，但也防止了过度的分歧. 这种构造产生的结果主观上优于传统的上转换技术.
有了这种上转换技术的新创新, 现在可以解锁机器学习架构，以实现新的战略和货币化机会. 广播公司, 运营商和电视服务提供商可以通过使用混合GAN架构的cnn提供的非线性功能来填补超高清内容可用性的空白.
这种方法已被证明对一系列不同的内容是有效的, 提供了一种现实的方法，通过这种方法可以从渐进式和交错式高清源创建更具有超高清外观的内容. 这反过来又可以为观看超高清频道的观众提供更好的体验, 即使其中一些内容本身并不是超高清的.
[编者注:这是一篇由供应商撰写的文章 MediaKind. 流媒体接受投稿，完全基于它们对读者的价值.]
相关文章
人工智能(AI)和机器学习(ML)的应用——从文本识别到上下文广告再到文化敏感性——正在成倍增长. 以下是当今市场上一些最引人注目的产品.
2022年5月19日
提及的公司及供应商