利用亚马逊的开源媒体重放引擎(MRE)框架，实现视频剪辑和重放生成的自动化, alongside Amazon Web Services (AWS) infrastructure and solutions, Catch Up With Highlights是一个端到端解决方案，可以接收广播流, 通过人工智能训练的计算机视觉识别有价值的比赛时刻, 然后用跨用户设备的元数据编码交付流. With AWS already the foundation of Fox Corporation media workflows, 开发团队能够在大约8周的时间内完成复杂的新功能.
福克斯数据产品和机器学习(ML)战略副总裁, Phil Martin, 谁领导了“赶上亮点”开发和首次部署, shared, “在过去的五年里，我们的团队通过构建先进的智能平台和产品，在释放数据的力量方面取得了巨大的成功. 此外，我们真的团结在革命性的粉丝的想法. 我们相信运动应该是愉快的，每个人都可以接触到, 这就是为什么我们设计我们的平台，使其易于参与和享受. 我们的“赶上亮点”功能就是这种理念的一个很好的例子. 我们知道，在世界杯这样的赛事中，比赛的水平是非同寻常的, and we wanted our feature to reflect that standard. To achieve this, 我们开发了一种尖端的人工智能技术，创造了一个可以实时动态复述游戏故事的亮点引擎, highlighting key moments and events as they unfold. 这确保了我们的用户能够跟上最新的动作并体验游戏的兴奋感, no matter where they are. Prior to and through this journey, AWS一直是我们值得信赖的合作伙伴，我们一起在世界上最大的体育舞台上，用数据革命球迷领域又向前迈出了一步.”
发布后，该功能无缝运行，几乎没有人为输入. Martin和他的团队创建了Catch Up With Highlights，以便随着比赛的进行不断优化精彩回放视频, 通过事件驱动的更新，在每场比赛中重述游戏故事20次以上. 这一方法确保了观众能够获得迄今为止游戏的全面回顾, 可以通过福克斯体育应用程序在联网电视和移动设备上观看. Incremental improvements were rolled out based on performance, such as adding a thumbs-up or down; and event enhancements, including shots saved and penalty kicks. 最终，在61场比赛中自动发布了731个回顾视频.
“赶上亮点”工作流包括AWS Lambda事件驱动的无服务器计算, and computer vision with Amazon Rekognition. 体育数据存放在Amazon DynamoDB NoSQL数据库中，然后通过管道传输到MRE中. 现场视频通过AWS Elemental MediaConnect快速交付给观众, with videos stored in Amazon Simple Storage Service (Amazon S3), and Amazon ElastiCache for caching live clips.
“足球通常被称为‘美丽的运动’，因为它流畅而富有艺术风格，客观上它是一项简单的运动:比对手进更多的球,” Martin explained. “However, 训练模型和围绕缺乏固定模式的游戏开发逻辑并不简单. To further compound the complexities, 这是我们第一次公开发布一个摄取多个并发流的平台特性, truncates clips for inference, contextualizes and optimizes each segment, 并在事件发生的瞬间将其转码并直接发送到我们的CMS中.”
此外，该团队从活动组织者那里获得的参考信息有限. 相反，他们依靠音频线索和摄像机角度来帮助训练计算机视觉模型. Clips were auto-assembled with polished elements, like transitions and a fade to black, to ensure a high-caliber viewing experience for fans. Now, with a proven, scalable approach, 马丁期待着在其他体育节目中复制《百家乐app下载》的剧本.
Martin concluded, “我们非常看好这个领域，并已经扩展到其他体育产业. 球迷们今天可以在美国职业棒球大联盟(MLB)的转播中体验到这一功能。, 美国足球联盟(USFL)和国际足联女足世界杯™?. Catch Up With Highlights将于今年秋天在足球转播中播出，更多个性化的内容即将出现. The possibilities are endless and we’re just getting warmed up.”
在人工智能出现之前，许多被贴上“人工智能驱动”标签的产品都在做同样的事情. 但将它们熟悉的功能贴上“人工智能驱动”的标签，会让同样的技术看起来新鲜而创新.
11 Apr 2024