今年的OPPO 2022未來科技大會(OPPO INNO DAY 2022)上,OPPO正式發布了讓終端更智能的“安第斯智能云”,并分享了其在端云數據存儲、端云機器學習、端云實時渲染等領域的關鍵能力,為用戶帶來重構端云存儲、增強智能服務、探索虛實融合的三大體驗革新。
在增強智能服務方面,OPPO 端云機器學習平臺StarFire采用端云協同機器學習新范式,融合云側大規模模型實時訓練和端側動態感知用戶的雙重優勢,促進AI能力進一步向自適應AI、生成式AI演進。
近日,StarFire完成了全新升級,通過落地支持多種異構芯片的訓推一體平臺,打通了芯云一體的AI訓練、優化、推理全流程,在全面提升算力與性能的同時降低成本和功耗,為OPPO用戶提供性能強大的全場景服務體驗。
【突破行業瓶頸,端云機器學習能力升級】
在以數據為中心的今天,傳統的單一計算架構已無法滿足當下日益高漲的算力需求。特別是在人工智能領域, AI意味著對算力的超高要求,異構計算大有可為,現已成為加速AI創新的新一代計算架構。
為突破行業當前云上機器學習平臺的“三高(延時高、成本高、隱私安全風險高)”瓶頸,OPPO異構計算全新升級。經過一年多的努力,StarFire完成了支持多種異構芯片的訓推一體平臺的落地,打通了芯云一體的AI訓練、優化、推理全流程,在充分發揮算力與性能的同時,有效降低功耗與成本。
借助StarFire的端云鏈路,任意一臺終端都可以隨時加入訓練過程,StarFire能夠感知終端設備的芯片特性,并面向目標業務場景優化模型,釋放OPPO強大的云端算力,極大補齊終端設備資源和算力資源的短板,并快速適配高通、MTK和OPPO自研的馬里亞納等異構芯片的推理需求。
【兼容異構芯片,多場景推薦服務升級】
為了進一步打造更為自主可控的異構計算平臺,StarFire對AI芯片的應用進行了探索,當前StarFire推理平臺已同時支持CPU、GPU和國產芯片進行推理,并率先在信息流主視頻場景全量上線,取得極好的效果。具體地說,StarFire最大吞吐量提升了101%,中負載下耗時下降50%;另一方面,推理的綜合成本也下降50%,并在穩定運行的幾個月中實現了0故障。
此次在信息流主視頻場景全量上線的成果,充分驗證了StarFire在支持多種異構芯片的可能性,為后續引入更多的AI芯片打下了夯實的基礎。值得一提的是,在異構計算平臺的構建過程中,StarFire針對面向推薦場景的算子進行了相關的優化,除卻當前信息流內容主視頻場景的應用,后續還將復用到其他的推薦場景,進一步提升異構計算的通用性和性能效果。
【加速業務應用創新,提升智能服務體驗】
一直以來,OPPO均致力于為用戶提供便捷高效的智能服務體驗。StarFire為用戶帶來了更低延時的實時交互、支持千億級參數的AI模型以及更安全的用戶隱私保護,通過充分調動云側計算與端側感知,創造更強大的智能服務體驗,全力推動OPPO業務應用創新與用戶體驗提升。
以小布助手主動建議為例,StarFire可以基于用戶個性化的行為、GPS、通信等數據進行隱私計算,通過場景服務聚合卡片,為用戶提供一站式、輕松便捷的聚合服務體驗。StarFire作為OPPO增強智能服務的技術底座,推動小布助手從最初的語音助手發展為跨終端、多模態的智能助手,從被動的服務向主動建議、輔助決策進化。
