當某廠把相機鏡頭塞到手機上時，不知道有多少人和我們有一樣的想法：
“手機攝影硬件走到頭了?！?/p>
極致的硬件堆料，是手機廠商在影像畫質競爭中的首選項。從“底大一級壓死人”到把潛望鏡/相機鏡頭搬上手機，手機廠商在物理上提升光學性能的手段幾乎使了個遍。如何能在光學硬件堆到極致的情況下再進一步？這個答案可能要給到——計算攝影。
是SoC還是ISP？沒有對錯的路線之分
無論是引發爭議的華為“月亮模式”還是今天發布的vivo自研芯片V2、各大手機廠商都開始深耕計算攝影的潛力，計算攝影已經成為手機行業下一個突破口。
計算攝影聽起來高級，實際就是在鏡頭和傳感器光學性能之外，對采集到的畫面信息進行優化，輸出更高質量或更符合需求的畫面。所以嚴格來講，早期的美顏濾鏡和HDR都是計算攝影的一部分。我們對計算攝影并不陌生。但想要用計算攝影做更多的事，額外的畫面處理會帶來對硬件計算性能成倍增長的需求。
蘋果很早就意識到這個問題。他們選擇自研SoC，并參考具體應用的性能需求與功耗來對自研SoC進行調整優化。iPhone 13上驚艷的電影模式，也是基于AI分析畫面中人物關系，錄制淺景深視頻并柔順地轉換焦點，從而讓視頻呈現出電影般的質感。
依靠自研SoC解決計算攝影軟硬件配套。這個思路很棒，但SoC行業太卷。
《SoC芯片行業研究》中就表明，國內集成電路設計企業所需的IP核大多來自境外供應商，每年進口金額10億美元以上，占全球市場的1/3左右。產業鏈下游的晶圓制造環節也呈現非常明顯的頭部效應，根據IC Insights的數據顯示，在全球前十大代工廠商中，臺積電一家占據了超過一半的市場份額，前八家市場份額接近90%。與手機廠商關系最密切的產業鏈中游，因為手機對制程與性能的極致需求、只有高通、三星、聯發科仍在對外提供手機旗艦處理器，近期三星也傳出下代旗艦上放棄使用自家獵戶座處理器，全面轉向高通。
如果只需要一個輪子，就不要去再造一輛車。特斯拉智能駕駛芯片負責人Peter Bannon在接受采訪時就表示，“特斯拉開始研發FSD（特斯拉智能駕駛芯片）的初衷是，我們發現市場上沒有一種芯片是從底層出發為自動駕駛和深度神經網絡算法設計的。”對于提升計算攝影性能，自研SoC并不是唯一道路，手機拍攝會經過鏡組-傳感器-ADC（模數轉換器）-ISP(圖像信號處理)-CPU這個工作流程，在計算攝影中，主要負責圖像處理的ISP才是流程中的“瓶頸工序”。針對計算攝影需求開發，專用性更強的定制化ISP在計算攝影應用中會更得心應手。
（vivo剛發布的自研芯片V2，就是一顆AI-ISP架構的低功耗AI加速芯片）
深入芯片，是什么為計算攝影提供動力？
Mobileye創始人兼CEO AnnonShashua曾表示，“只有深入了解軟硬件之間的相互作用是什么，才能清楚到底應該用什么樣的芯片去支持什么樣的算法?！?/strong>
蘋果大家很熟，我們就借由vivo這顆V2自研芯片來看看計算攝影是怎么在軟硬件之間交織的。
與初代相比，V2這次迭代非同小可。它采用AI-ISP架構，將傳統ISP低延時、高能效的特點進一步帶入到AI實時處理運算架構中。
首先是通過與聯發科天璣9200的聯調與深度合作，vivo在天璣9200上可以借助自研芯片和SoC的雙芯配合來突破原有性能上限，滿足計算攝影暴增的算力需求。
從具體實現方式來說，V2采用了異構多芯片計算方式，vivo稱其為FIT雙芯互聯技術。
vivo將兩顆芯片做了一個分工，將大型復雜算法模塊拆分，把算力密度小、網絡結構復雜的小模型部分，通過軟件部署在平臺NPU上；把算力密度大、數據吞吐密集的大模型部分，部署在V2硬件上，讓它們處理各自擅長的運算模塊。發揮平臺和外掛芯片的各自優勢，做出1+1>2的效果。
計算性能上去了，往往帶來的是功耗的提升，這也是傳統外掛芯片難以回避的問題。
vivo對此給出的答案是專芯專用，通過芯片的定向設計達到實際功耗的降低及用戶體驗的提升。
V2的AI計算單元上選擇了更適合做復雜成像運算的DLA加速器而非傳統的NPU，并且專門搭載了更大的片上緩存，讓V2的片上SRAM容量較V1提升了40%，達到等效45MB。跳出行業常用的外存DDR架構的好處是最大程度避免內存瓶頸限制數據運算效率，同時減小了影像計算中的延遲問題，為低延遲計算影像鋪平了道路。
vivo將其稱為全硬化定制設計近存DLA
并且在些特定場景下只調用V2自研芯片。例如V2專門內置了10bit的MAC單元以滿足針對專業視頻的10bit色深處理需求，據vivo稱，這樣相較平臺SoC軟件部署所采用的合并運算方式，10bit算力密度提升了4-6倍的巨幅提升。
芯片進步，為計算攝影應用帶來什么改變？
雙芯互聯保證能同時高效運行不同架構的算法模型。近存DLA縮短了影像在整個手機拍攝管線中的處理時間，同時做好功耗控制。擁有獨立影像芯片的vivo，可以在此基礎上對其攝影算法進行更進一步的軟硬結合來提升效果，而本次雙芯技術溝通發布會中重點講述的技術也是其算法提升的表現。我們可以借此一窺——技術進步會帶來哪些計算攝影新方向？
1、部分解決手機相機鏡組光學素質的局限性
手機相機受限于手機本身的厚度，鏡頭模組難以靠堆疊鏡片來進行畫質矯正。在已大量使用非球面鏡片等設計下，相較相機鏡頭在解析度，色差、色散上仍有不小差距，尤其是長焦端。通常的解決方法是更換參數更高的鏡頭，通過機身設計來掩飾增大的鏡組體積。
而vivo在發布會上提出了一種新思路，是和蔡司聯合研發的一種計算光學算法，預先對每款手機的攝像模組特性做建模分析，預估光學缺陷并做動態補償，彌補手機相對薄弱的光學性能。
（vivo展示的蔡司光學超分算法樣張對比，據稱可以恢復5倍以上焦段約35%的清晰度信息。）
提升暗光下的極限拍照能力
夜景模式幾乎每一家手機廠商都有嘗試，有兩條常見路線：一條技術路線為拍攝多張畫面，通過算法進行多幀合成，盡量還原真實場景。另一條技術路線是依靠AI模型預訓練，再對畫面進行推算，谷歌相機就是最典型的例子。但無論是哪種方案，都需要圖像處理芯片在短時間內對大量畫面的存儲調度和計算。
vivo的解決思路更傾向第一條路線，于軟硬件結合下提升暗光環境的抓拍能力，一方面將傳感器的ISO高感從上一代的16000提升到10萬，大幅提升感光能力，再配合以發布會上提到的運動自適應多幀融合技術，嘗試突破多幀合成方案中難以解決的拖影問題。
（根據vivo發布會數據，新架構的暗光對焦能力最高可覆蓋至-6EV曝光環境）
在低至5lux的暗光場景下都能擁有極佳的畫面定格能力
降低拍攝延遲和智能預判被攝人物運動
vivo提出的運動抓拍概念也相當有趣，他們將運動抓拍的需求拆解為“降低延遲”和“提前預判畫面動向”。
當“決定性瞬間”出現的時候，手機往往是手邊唯一的拍攝設備。想要在轉瞬即逝的時機中記錄準確的畫面，對拍攝設備的延遲有相當的要求。但手機的快門延遲往往高達170-300ms，常常是按下快門卻錯過了畫面，這就需要在鏡組-傳感器-ADC-ISP-CPU這個工作流程中盡量縮短處理路徑，V2芯片搭載的近存DLA的重要性就體現在這里，極短的數據鏈路能讓快門延遲大幅降低，實現vivo宣稱的“零延時”抓拍。官方稱全面優化圖像處理管線，快門延遲低至30ms。
同時可以根據現有畫面，檢測肢體運動強度并跟蹤，畫面走向并及時鎖定畫面。vivo嘗試通過這二者的疊加讓運動抓拍更準確。
除了計算攝影，芯片進步還有什么值得期待的？
手機性能目前已經達到瓶頸，SoC升級帶來的提升已經低于10%，而作為廠商為了在競爭中贏得勝利，必須在通過其他手段提升表現，自研芯片就應運而生。
在魯大師看來，自研芯片V2還會在以下方面帶來不錯的效果表現。
AI性能的提升：目前看來，vivo 基于芯片V2的出現會帶動聯發科9200的AI性能表現大幅提升，這部分AI性能的提升會帶來的直接效果就是需要運用AI算法的APP響應時間會大幅加速。魯大師具有對應的AI測試，會在后續的評測內容中進行針對性評測。
功耗的降低：在針對影像方面的專芯專用會帶來功耗的降低，拍攝和視頻是手機耗電重災區，vivo自研芯片V2的出現會降低這部分功耗，搭配上功耗方面比較占優勢的天璣9200，堪稱vivo史上最強旗艦X90系列的功耗值得期待，這部分敬請關注魯大師功耗測試。
未來，計算攝影或將成手機圈共逐之鹿
只要影像能力仍是消費者選擇手機的核心要素，手機廠商間的“影像軍備競賽”就不會停止。但相比于堆無可堆的光學硬件，計算攝影的想象空間還遠未被限制。如蘋果、vivo、華為等提前布局計算攝影技術的廠商已經逐漸收獲用戶的認同。
以驍龍8 Gen2和天璣9200為代表的新一代安卓旗艦即將面世，極大概率剛發布的V2自研芯片也會出現在vivo今年的影像旗艦X90上。
如何從一眾一英寸傳感器中脫穎而出？定制化的圖像處理硬件及依附于其上的計算攝影，或成接下來主導移動攝影天花板的關鍵要素。憑借領先的計算攝影能力，我們期待vivo將一英寸等頂尖光學器件的能力發揮至更佳。
