近日，阿里云機(jī)器學(xué)習(xí)PAI團(tuán)隊(duì)發(fā)布一鍵端側(cè)超分工具，可實(shí)現(xiàn)在設(shè)備和網(wǎng)絡(luò)帶寬不變的情況下，將移動(dòng)端視頻分辨率提升1倍，最高可增強(qiáng)至1440p，將大幅提升終端用戶的觀看體驗(yàn)，該技術(shù)目前已在優(yōu)酷、夸克、UC瀏覽器等多個(gè)APP中廣泛應(yīng)用。

觀看上圖不難發(fā)現(xiàn)，左側(cè)畫面和右側(cè)畫面的清晰度有極大差別。事實(shí)上，兩側(cè)畫面的視頻播放源完全相同，區(qū)別在于右側(cè)畫面使用了特殊的“一鍵超分”工具，從而實(shí)現(xiàn)清晰度從540p到1080p的華麗轉(zhuǎn)身。

超分，即“超分辨率”，是指通過(guò)深度學(xué)習(xí)方式將低分辨率圖片或視頻的清晰度提高，獲得更高分辨率，進(jìn)而達(dá)到更好的觀看體驗(yàn)和識(shí)別準(zhǔn)確率。通過(guò)特殊的卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)已知的高分辨率資源進(jìn)行學(xué)習(xí)，即可實(shí)現(xiàn)對(duì)任意低分辨率圖像和視頻資源進(jìn)行超分處理的模型。

在移動(dòng)互聯(lián)網(wǎng)普及并成為主流的今天，用戶對(duì)“上網(wǎng)沖浪”的體驗(yàn)愈加關(guān)注，更快速、更高清也成為APP開發(fā)者們不懈的追求。在“更高清”這個(gè)方向，純軟件化的優(yōu)化方案——端側(cè)超分進(jìn)入開發(fā)者的視野：通過(guò)在手機(jī)、平板電腦等移動(dòng)設(shè)備上運(yùn)行超分算法，彌補(bǔ)設(shè)備硬件、網(wǎng)絡(luò)帶寬、原始素材等客觀條件限制，進(jìn)而獲得高畫質(zhì)的圖像和視頻。但是，受制于端側(cè)算力、設(shè)備兼容等問(wèn)題，端側(cè)超分方案規(guī)模化落地并不像想象中簡(jiǎn)單。

阿里云機(jī)器學(xué)習(xí) PAI 團(tuán)隊(duì)近日發(fā)布搭載 PAI-AISR 模型的一鍵端側(cè)超分工具，通過(guò)對(duì)模型進(jìn)行量化剪枝等加速優(yōu)化、以及對(duì)端側(cè)多設(shè)備（CPU/GPU/NPU）進(jìn)行異構(gòu)計(jì)算和內(nèi)存I/O優(yōu)化等，具備以下優(yōu)勢(shì)：

超高畫質(zhì)體驗(yàn)：在移動(dòng)端可將視頻分辨率增強(qiáng)至最高1440p，同時(shí)進(jìn)行鋸齒和底噪抑制、色彩增強(qiáng)等提升，極大改善觀看體驗(yàn)。體積小，易適配：PAI-AISR 算法最低只需要 50KB，不占空間；功耗低至每小時(shí)50-100ma。低延遲，高幀率：低至 20ms 以內(nèi)的處理延遲，以及高達(dá) 30 fps 的幀率，適用于直播、短視頻、視頻通話、實(shí)時(shí)監(jiān)控等各種場(chǎng)景。多平臺(tái)多機(jī)型兼容：支持跨平臺(tái)使用，在 iOS 系統(tǒng)和安卓系統(tǒng)環(huán)境下均無(wú)縫連接，甚至在 IoT 設(shè)備（如攝像頭、電視機(jī)、視頻會(huì)議設(shè)備等）均可平穩(wěn)支持。數(shù)據(jù)格式兼容：支持所有主流圖片和視頻格式。

對(duì)移動(dòng)APP開發(fā)者來(lái)說(shuō)，PAI端側(cè)一鍵超分工具主要具備以下兩點(diǎn)價(jià)值。首先，使用端側(cè)超分可以減少數(shù)據(jù)下發(fā)過(guò)程中CDN的消耗，實(shí)現(xiàn)降本提效。其次，當(dāng)客戶端網(wǎng)絡(luò)不穩(wěn)定或者帶寬受限（例如處于3G狀態(tài)下，或者處于地鐵、電梯等信號(hào)不穩(wěn)定的環(huán)境中），導(dǎo)致視頻播放卡頓時(shí)，端側(cè)超分技術(shù)可以讓終端用戶的瀏覽體驗(yàn)更順滑。同時(shí)由于整個(gè)推理過(guò)程在端側(cè)進(jìn)行，避免了云端推理成本高、時(shí)延長(zhǎng)等問(wèn)題的出現(xiàn)。

目前，PAI一鍵端側(cè)超分方案已經(jīng)在優(yōu)酷、夸克、UC瀏覽器等多個(gè)移動(dòng)應(yīng)用成功落地，在不斷提升終端用戶體驗(yàn)的同時(shí)，帶來(lái)應(yīng)用研發(fā)效率的提升。