近日，2022 MSU 世界視頻編碼器大賽正式放榜，網易云信首次參賽就獲得驕人成績，自研的結合智碼超清技術的 NE265E 編碼器以公開身份參賽，在 H.265 賽道下獲得多項指標第一名。
首次參賽，斬獲 3 項指標第一?
MSU 世界視頻編碼器大賽（MSU Video Codecs Comparison）是由莫斯科國立大學主辦的國際大賽，迄今已連續舉辦 17 屆，被稱為視頻編碼壓縮領域最具權威和影響力的全球頂級賽事。
而在 FullHD 比賽更是高手如云，幾乎涵蓋了國內外眾多音視頻領域的行家里手。參賽的各種視頻編碼器被要求在一定速度、碼率等規則下，通過多種客觀質量指標和主觀質量指標層層評估編碼質量，并給出最終比賽結果。
此次大賽，網易云信 NE265 編碼器首次參賽，以公開編碼器身份在 H.265 賽道的 15 個指標中獲得 3 項指標第一，8 項指標第二。
其中在 Y-VMAF(v0.6.1/v0.6.2/v0.6.3) 的客觀指標上，網易云信智碼超清 NE265E 編碼器在 1fps/5fps/30fps 所有速度檔位下，成績均勝過其他大廠的參賽編碼器，獲得了 H.265 賽道的第一名。在其他客觀質量 YUV-SSIM, YUV-MS-SSIM, YUV-PSNR 等指標上，在 5fps/30fps 速度檔位下，網易云信 NE265 編碼器獲得 H.265 賽道的第二名。
高規格國際頂級賽事，眾多大廠同臺競技，網易云信能以公開的編碼器參賽并獲得細分賽道多項指標第一，足見這項基于 NE265E 編碼器的智碼超清技術領先性已獲得了業界權威認可。
網易云信智碼超清 NE265E 編碼器在 1fps/5fps/30fps 所有速度檔位下均獲得了賽道第一名
這么牛的技術能用來干啥？?
可能有人會問，這項技術聽起來好像很牛，但是那些指標咱們吃瓜群眾也看不懂，和日常生活有什么關系？
還真有。隨著視頻成為許多內容的媒介載體，人們對視頻畫質要求也越來越高，從 1080P、2K 到 4K，甚至 8K。不過觀看體驗要好，分辨率尺寸就得越來越大，若是不經過視頻編碼器壓縮，網絡帶寬流量成本也會水漲船高。
高分辨率帶來更優畫質體驗，但帶寬成本也會水漲船高
網易云信智碼超清技術解決的就是這個問題，能在相同碼率情況下提供用戶更高畫質的視頻體驗。
如此一來，對流媒體平臺而言，視頻的存儲、分發、傳播成本都能得到顯著降低；對用戶而言，咱們刷在線視頻、看 4K 電影、直播追劇等都能看個過癮，不必擔心流量告急。
“榜一大哥”具體是怎么煉成的？?
那么，這項與人們日常生活緊密相關的智碼超清技術，其轉碼的關鍵技術點在哪呢？網易云信是怎么做的？
總結來說，智碼超清轉碼的關鍵技術點分為了視頻前處理、視頻編碼、視頻后處理三個部分。
首先是視頻前處理，包含了內容分析與畫質提升兩個方面。內容分析的第一步是通過場景識別區分出不同場景，如：游戲、動作片、動漫、視頻會議等，根據場景選擇不同的前處理策略和編碼工具，做到場景自適應；其次是進行基于深度學習的 ROI 區域檢測，將檢測后的 ROI 區域傳給前處理模塊和編碼模塊，進而對 ROI 區域畫質進行增強修復。
畫質提升則是通過視頻增強、色彩增強、視頻降噪三方面入手，前兩者著重通過對原始視頻的增強提升主觀畫質，而視頻降噪是在噪聲評估之后進行降噪處理，提升主觀畫質的同時，還能對視頻編碼的壓縮率帶來幫助。
其次是視頻編碼。智能編碼方面包括了感知編碼、ROI 編碼，以及精準的幀級和行級碼控；編碼內核方面，通過自研的 NE264、NE265，以及支持私有協議的 NEVC 完成。
在視頻后處理方面，主要通過視頻超分、視頻增強技術等完成畫質提升。視頻超分是指通過網易云信 AI 超分算法，將低分辨率圖像生成高分辨率圖像。網易云信提出了基于編碼損失復原的視頻超分技術，采用數據驅動和網絡設計并重的策略，通過數據處理模擬真實失真場景，并且從模型設計到工程化實現進行層層優化，在模型實時性和真實場景超分效果方面取得了不錯的效果。
節省帶寬成本超過 60%?
值得一提的是，這并非網易云信音視頻實驗室第一次在世界的舞臺上閃耀。
在 2022 年，計算機視覺領域最高級別的會議 CVPR（CVPR NTIRE 2022 EfficientSuper-Resolution Challenge）上，網易云信音視頻實驗室的 AI 超分技術同樣摘得了綜合性能賽道的世界第一。
坐而論道，不如起而行之，技術積累需在真實場景落地才能體現價值。在網易集團內部，網易云信智碼超清技術已在網易傳媒、網易云音樂、網易元氣等業務中全量上線。
以網易傳媒為例，從去年統計的結果看，每日 40 萬分鐘視頻轉碼的帶寬由每天 80G 下降到每天低于32G，節省帶寬成本超過 60%。
未來，網易云信也將繼續保持前沿技術探索，為業界提供更低成本、更低延時、更高畫質的視頻編碼壓縮方案。
