CV-CUDA 助力腾讯云音视频 PaaS 平台实现视频增强 AI 全流程 GPU 加速

案例简介

腾讯云音视频 PaaS 平台与 NVIDIA 团队合作，利用CV-CUDA™加速视频增强 AI 工作管线中的前后处理模块，结合NVIDIA TensorRT™，将视频增强 AI 全流程置于 GPU 上进行加速，前后处理部分效率提升 16% – 38%。

客户简介

腾讯云音视频 PaaS 平台（以下简称腾讯视频云）专注技术产品，构建了行业中极速高清智能转码、超低时延快直播的音视频解决方案，已连续四年居于市场份额和解决方案首位[1]，在音视频领域已有超过 21 年的技术积累，腾讯云音视频已持续支持国内 90% 的音视频客户。其中腾讯云 MPS 媒体处理服务为海内外客户提供全场景极速高清转码，音视频增强，专有云 codec SDK 等服务，在近期全球 MSU 云端编码大赛及 SLC 评测中，所参评项目均取得了第一名的好成绩[2]。

使用 GPU 加速视频增强 AI 全流程

本案例中，腾讯云音视频 PaaS 平台与 NVIDIA 团队合作，利用CV-CUDA加速视频增强 AI 工作管线中的前后处理模块，结合NVIDIA TensorRT，将视频增强 AI 全流程置于 GPU 上进行加速。集成 CV-CUDA 后相比加速前，前后处理部分效率提升 16% – 38%，端到端效率提升 6% – 10%。

加速画质增强全链路工作管线的挑战

画质增强是腾讯视频云提供的主要视频类云服务之一，其通过 3D 去噪、色彩增强、超分辨率、插帧等处理技术，有效处理噪点、马赛克、抖动、顿挫感等问题，提高画面清晰度，让画质重生。该服务的工作管线基于 ffmpeg filter 构建，整体工作流如下图所示：

图 1. 画质增强工作管线示意图

该服务中应用了三种主要的 AI 模型，包括：去噪模型、色彩增强模型以及超分辨率模型。这些模型的工作管线中，除模型推理外，还包含了一系列前后处理操作，包括：yuv2rgb、copyMakeBorder、normalize、hwc2chw、chw2hwc、float2uint8、rgb2yuv 等。

此前，这些前后处理操作使用自定义的 CUDA 算子在 GPU 上处理或使用 OpenCV 在 CPU 上处理，计算效率并不理想。一方面，这使得前后处理在整个工作管线中占据了可观的开销；另一方面，前后处理可能增加 CPU 负载，影响 CPU 上其他任务的执行效率。因此，如何尽可能地节省前后处理引入的开销，缓解 CPU 负载，成为了加速画质增强全链路工作管线的挑战。

视频增强 AI 前后处理效率提升 16% – 38%

腾讯视频云与 NVIDIA 合作，将 CV-CUDA 集成进去噪模型、色彩增强模型和超分辨率模型的工作流中，替换原有的 CUDA 算子及 OpenCV CPU 算子，从而加速前后处理部分的计算效率，提升 AI 任务端到端的推理效率。下表展示了对于 1080p 输入图像，应用 CV-CUDA 前后，上述三种模型工作管线的处理速度（单位：ms）:

图2. 使用 CV-CUDA 后，处理 1080p 输入图像的效率提升效果

可以观察到，使用 CV-CUDA 后，三种模型的前后处理部分的计算效率有了不同程度的加速，模型整体性能也得以提升。此种性能提升尤其在前后处理耗时占比大的任务中将更加明显。

持续合作，实现视频 AI 全链路 GPU 加速

腾讯视频云未来将持续与 NVIDIA 合作，对提升视频增强服务处理效率方面进行不断地探索。例如，双方将共同尝试引入 TensorRT 最新的特性进一步加速视频增强各类模型的推理性能；另外，双方将继续推动利用 CV-CUDA 加速更多视频类工作管线的处理，实现视频 AI 全链路 GPU 加速。

[1] 资料来源于腾讯云音讯频开发者社区官网，其数据来源于国际数据公司（IDC）发布的《中国视频云市场跟踪(2021上半年) 》https://cloud.tencent.com/developer/article/2046119。

[2] 资料来源于腾讯云音讯频开发者社区官网，据莫斯科国立大学（MoscowState University）于 2021 年与 2022 年举办的 MSU 云端视频转码大赛（CloudVideo Transcoding Services Comparison）成绩公布https://cloud.tencent.com/developer/article/1794385; https://cloud.tencent.com/developer/article/2057612 。

准备好开始了吗？

CV-CUDA 抢先体验开发者申请：

https://developer.nvidia.cn/zh-cn/cv-cuda/early-access

©2023 NVIDIA Corporation 及其附属公司版权所有。 NVIDIA、NVIDIA 徽标、CV-CUDA 和 TensorRT 均为 NVIDIA Corporation 及其附属公司在美国和其他国家/地区的注册商标和/或商标。其他公司和产品名称可能为各自所有者与其相关的商标。2880100. 2023 年 7 月。