19年前的愚人節,張國榮悄然離去,和全世界開了一個真實的玩笑。之后的每年此日,全球各地榮迷都會自發舉行各類紀念活動緬懷哥哥。
《熱·情》演唱會在不少榮迷心中都堪稱經典,其母帶也一直被封存至今。得益于智能影像修復技術的加持,這個被塵封21余年的“時代符號”被首度解鎖。
2022年4月1日晚上8點,由騰訊云多媒體實驗室領先算法團隊修復、騰訊音樂娛樂集團攜手環球音樂旗下廠牌寶麗金,并聯合騰訊云、微信視頻號、騰訊視頻等多個團隊聯合呈現的“張國榮2000年《熱·情》演唱會超清修復版”全球首播。
《熱·情》演唱會傾注了張國榮對華語樂壇的滿腔熱忱,整場演唱會從舞美到燈光、從服裝到編排,無不體現著走心的細節。
而借助騰訊云多媒體實驗室智能影像修復技術,仿佛讓每一位榮迷都進入了穿越時光的隧道,瞬間回到22年前的舞臺中央,近距離感受哥哥的迷離眼神,重溫舞臺之上的絕代風采。
超清沉浸感修復引擎,解開“時光之鑰”的技術密碼
談起《熱·情》演唱會,再多的溢美之詞都不足為過。有人提到它是張國榮曲折且傳奇一生的傾情演繹,為所有現場觀眾帶來了一場前衛、華麗、優雅的視聽盛宴。
但受限于彼時拍攝器材及視頻素材的存儲介質,寶麗金珍藏21年母帶及網絡上流傳的《熱·情》演唱會版本,畫質普遍欠佳。而借助數字技術讓經典再現,成為寶麗金團隊及眾多榮迷們的共同期待。

藉由此,騰訊音樂娛樂集團于今年年初聯系到環球音樂,雙方一拍即合決定通過多媒體實驗室修復技術,開啟塵封21年的《熱·情》演唱會母帶修復工作。
騰訊云多媒體實驗室是全球領先的多媒體通信和處理研發團隊,在多媒體數據傳輸與壓縮、智慧融合媒體、互動沉浸式媒體等領域都積累了完整的解決方案,在老片修復領域也有很深的技術積累,擁有多項業界領先的自研老片修復技術。
修復歷史影像作品甚至殘損影像,對于經驗豐富的多媒體實驗室來說挑戰并不大,此前他們深度參與了包括《康熙王朝》、《天下人家》等多部經典影視劇高清修復工作。
“但接到張國榮《熱·情》演唱會的修復需求時,我內心還是比較忐忑的。”多媒體實驗室專家研究員夏珍表示。
他提到,“借助實驗室的修復引擎等技術積累可以極大限度地還原演唱會視頻的清晰度,但對于演唱會視頻中的色彩、畫面切換很快,外加視頻素材清晰度不高等問題,如何做到修舊如舊,能夠給觀眾帶來融入其中的沉浸感體驗,對于團隊來說是一個不小的挑戰。”
經過多次研判和技術驗證,夏珍和他的團隊給這項修復工作制定了一個硬標準,即修復后的影像能夠給榮迷帶來“現場感”的觀影體驗。
而解開這一“時光之鑰”的技術密碼,正是多媒體實驗室的超清沉浸感修復引擎。

“超清沉浸感修復引擎”是面向老片修復場景專門推出的技術解決方案,它沉淀了騰訊云多媒體實驗室多年的多媒體通信和處理研發經驗,包含多項業界領先的老片修復技術,涵蓋四大模塊:智能分析、畫質修復、畫質增強和智能編碼。
首先,利用多種智能評估算法的智能分析模塊會對視頻內容進行全方位、多維度分析,主要為了評估視頻的運動和紋理復雜度、壓縮失真程度等。
得到不同維度的分析結果后,畫質修復模塊就能利用多種智能算法,有的放矢地修復各類破壞畫質的主要因素,包括但不限于劃痕、豎線、雪花點、噪聲、壓縮失真、抖動等問題。
“這其中的算法基本都是騰訊自研。譬如劃痕算法,實話說在公開服務中還沒遇到過。”
夏珍解釋道,劃痕與雪花點的面積和數量與觀看體驗成反比關系。面積越大體驗越差、反之亦然。
與此同時,劃痕修復也存在諸多難點。一方面劃痕修復不可逆且成本高昂;另一方面目前缺少龐大的劃痕公開數據庫,算法難以調優,建設成本也非常昂貴。
為此,實驗室專門設計了針對性的多方向數據增廣方案。方案包括劃痕的裁切及合并、隨機尺寸、隨機模糊程度、局部及全局隨機亮度調整、隨機透明度調整等。
緊接著,畫質增強模塊便會選擇最佳視頻增強算法,對畫面進行多維度畫質提升,在空間和時間上提升視頻的分辨率和幀率,在空域上提升細節清晰度、色彩豐富度。
夏珍需要更好地駕馭和平衡CNN(卷積神經網絡)和GAN(生成對抗網絡)兩種智能算法。
其中,CNN是經過大量圖像數據訓練而成的熟練工”,它修復的結果比較真實,但有時細節會不夠豐富;而GAN經過自我博弈成長而來,它修復的結果更為豐富細膩,但有時會顯得不太真實。
在完成視頻修復及畫質增強后,智能編碼模塊可以通過自適應編碼在減少輸出文件大小、視頻傳輸成本的同時,保證視頻的主觀質量不受影響,實現最佳的畫面效果。
“人工修復比較依賴修復者的經驗和其對于畫面的理解度,不同人修復的同一個畫面可能會存在較大差別。”據夏珍介紹,超清沉浸感修復引擎則可以很好地規避這個問題,在尊重歷史和原版的基礎上,保證畫質的提升。
于該引擎系統來說,能夠做到這一點的最大前提便是擁有強大的數據儲備。夏珍解釋道,技術解決方案對場景的要求非常強,系統核心能力體現在算法,而算法的優劣則體現于數據的多寡。
一直以來,騰訊都在以算法為翼探索各個場景。在多媒體領域,依靠騰訊視頻等渠道,已經積累了海量優質數據,算法可用性相比業界大為提升。
對于修復效果的把握,實驗室團隊更是精益求精。針對整體效果和特殊場景進行了十多次的算法升級和優化,為技術應用提供了穩定性和魯棒性更強、跟蹤速度更快的技術支撐。
夏珍截取了一幀張國榮在舞臺中央的靜態畫面,放大后仿佛可以透過哥哥閃爍的眼眸看到舞臺折射的影像輪廓。而這樣的修復效果,在演唱會修復版直播過程中,也引發了不少榮迷們的共鳴。

?圖注:超清修復后的版本,張國榮的臉部、舞臺等細節清晰可見。
音樂帶來溫暖,視頻號“音悅會”生態正繁榮。去年12月,西城男孩(Westlife)全球首場線上直播演唱會現身視頻號,吸引超2700萬人圍觀,強勢破圈。在2022年伊始,微信視頻號與共青團中央共同舉辦了“追光”大型直播,其中的“追光”音樂會也在新的一年初始便給眾多觀眾帶來力量和溫暖。
此外,陳鴻宇華等音樂人也相繼在視頻號平臺開展“線上演唱會”,加上眾多中長尾的音樂創作者持續發布短視頻作品及開展直播,優質的音樂內容正不斷呈現給廣大的視頻號用戶。在疫情背景下,即使很久沒有看過演唱會,但“打開視頻號就能聽live、看演唱會”正變成越來越多人的日常。
將超高清視頻搬上視頻號直播平臺,是一項超級工程
本次修復版演唱會得以高質、流暢地現場直播,背后還有一項超能技術不得不提:視頻編解碼。
如果說自研算法是視頻修復的引擎,那么“視頻編解碼”可以說是如期達成4月1日全球直播的重要保障。
這是一項容易被忽視的技術,但卻是引領和驅動音視頻技術發展的關鍵技術。它所解決的問題可以用一句話總結:在不改變視頻主觀質量的前提下,壓縮視頻的大小,以更順暢、高質地在各個平臺播放。
超高清技術的發展極大提升了視頻的清晰度,但同時也讓文件大小成倍增長。壓縮之前的原視頻極占存儲空間,雖然分辨率是480p的,但碼率高達50M/s,如果修復后的4K高清版本按高碼率輸出,將占據300GB的存儲空間。
談及至此,不得不提實驗室的一項“王牌技術”:新一代國際編解碼標準。它在業內廣受關注。
該標準于2020年7月正式發布,成為視頻產業跨時代的里程碑,相比上一代標準,其壓縮性能顯著提高,可在視頻主觀質量不變的條件下減少50%的數據大小,大大減少視頻傳輸帶來的流量、帶寬成本,推動整個視頻產業進化。
騰訊云多媒體實驗室正是這項標準制定的主要貢獻者之一,提交的技術提案被國際和國內標準采納,數量全球領先。同時,實驗室專家們還在標準組織中擔任包括新一代國際編解碼標準聯合主編、參考軟件聯席主席等重要席位。騰訊是中國最早參與并致力于開發視頻信息壓縮和解碼標準的公司之一,現已在視頻編解碼技術上處于全球領先的地位。
在2021 MSU世界視頻編碼器大賽中,首次參賽的騰訊自研最新一代266編碼器即在競爭最激烈的高清離線賽道中奪得Y-VMAF、Y-PSNR第一名的成績。
與此同時,騰訊云音視頻轉碼及相關媒體處理應用已于2021年7月全線支持新一代國際編解碼標準,這是該標準首次在云上商用,填補了全球云廠商在該領域的空白。
此外,騰訊云多媒體實驗室在標準截稿僅三個月后,發布了新一代國際編解碼播放器,解碼速度較標準參考軟件快了約 20 倍,能對 UHD 影像進行實時解碼,其性能在全球處于領先地位。
騰訊杰出科學家、騰訊云多媒體實驗室總經理劉杉博士也是全球音視頻領域的頂尖技術帶頭人。
劉杉博士是國際著名多媒體專家,騰訊首位女性杰出科學家,IEEE Fellow, APSIPA杰出工業領袖,2020年入選福布斯中國科技女性50人,擁有500+已授權專利,發表100+學術論文和一部專著,本科畢業于清華大學電子工程系,碩士和博士畢業于美國南加州大學,研究方向包括音視頻、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、系統和智能化應用。深耕多媒體數據壓縮、傳輸協議和系統、無線網絡、IoT等行業標準領域,曾多次擔任國際標準專家組主席和聯席主席,現任IEEE數據壓縮標準委員會副主席。
自2017年加入騰訊以來,劉杉博士帶領團隊研發和交付多項多媒體核心技術,并深度參與了國際國內行業標準制定工作。
超高清視頻修復市場需求巨大,騰訊已形成完整技術矩陣
近年來,隨著5G、人工智能等數字技術的發展,超高清視頻技術成為推動我國超高清視頻產業迅猛發展的重要動力。工信部、國家廣播電視總局、中央廣播電視總臺聯合印發的《超高清視頻產業發展行動計劃》明確提出,到2022年超高清視頻產業總規模要超4萬億元,超高清內容制作每年要超3萬小時。
然而,在超高清內容生產端,則存在著超高清內容制作、經典老片及視頻轉高清的成本高、效率低等痛點,成為制約產業發展的關鍵因素。
夏珍表示,全球有非常多的諸如演唱會、電視劇、電影、紀錄片等經典影像,騰訊云多媒體實驗室目前已經形成了較為完整的智能老片修復技術矩陣,未來希望通過超清沉浸感修復引擎,幫助更多的時代經典高質、高效地重現于觀眾面前。
未來,騰訊云多媒體實驗室將在多媒體技術領域中持續深耕,推動多媒體技術在多個產業領域中落地應用的同時,踐行騰訊可持續社會價值創新,助力經典文化的傳承。
借助數字化技術助力傳統文化和經典作品傳承,也是騰訊技術價值外溢、科技向善的又一體現。