2023 年開始，大模型上車，幾乎成為了所有車企緊迫的必修課。
當下智能汽車主要的賣點，已經轉移到自動駕駛和智能座艙上。由智駕芯片和座艙芯片支撐的智駕系統和智能座艙，成為中國車企塑造用戶體驗的王牌。而比起自動駕駛，智能座艙的升級競賽更緊迫，更具可行性，落地效果立竿見影。
2024 年 9 月，面壁智能成為 TINNOVE 梧桐科技芯算一體 AI 座艙方案中端側大模型重要合作伙伴，以 MiniCPM 車載多模態大模型實現艙駕協控相關的功能控制。這也是面壁 MiniCPM 端側多模態模型首次支撐汽車智能座艙的系統底座。
此次面壁智能的合作方梧桐科技，是國內最早布局智能空間領域的科技公司，為中國汽車行業提供標桿性的整合產品和解決方案，目前已與 10 余家主機廠伙伴，合作超過 100 余款各類車型，如奧迪 A3、奧迪 A7、奇瑞捷途 X70、長安 CS75 PLUS、長安啟源 A07 等，覆蓋自主品牌、合資品牌、豪華品牌，產品裝機量已超過三百萬輛，市場遼闊！
MiniCPM端側多模態模型首“上車”
如果將智能汽車視為新一代“智能終端”，智能座艙是汽車終端全新的“交互界面”，大模型在智能座艙中起到的關鍵作用，不僅僅是服務感官極致舒適的智能化駕乘空間，也正在創造我們與汽車的一種全新關系。
1.從傳統固定用詞的指令交互、語音助手的被動喚醒，向更加主動、貼近自然語言“口語會話”，MiniCPM 顯著提升了座艙和乘客之間的交互能力。
MiniCPM 端側模型發揮復雜意圖理解、模糊語義理解、上下文記憶的強大能力，在“人車交互”的多輪對話、識別準確率、復雜語音命令、自動語音糾錯上，達到了相當高的可靠性和交互流暢度。
MiniCPM 支持更復雜、更自然的多輪對話，比如“我想去離這里最近的星巴克，但是路上要經過一個加油站，可以順便加油嗎？”，理解用戶表達中的歧義和不確定性。當用戶說“有點餓了”，大模型可以根據上下文推斷用戶可能想吃的是什么，并提供相應的建議。同時，對話過程保持連貫性，避免重復提問。
2.學習車內車外多模態數據，MiniCPM 以數據驅動場景，基于用戶習慣自動響應，乃至提供主動服務。
加入 MiniCPM 的 AI 座艙方案包括「知識查詢」和「人-車-環境感知融合」的多模態增強理解模塊。比如車載屏幕理解與控制、自動提醒用戶，MiniCPM 結合指令控制屏幕進行操作，無需第三方應用的數據集成。
車內，全場景識別能力大幅提升，包括精準的危險駕駛、疲勞駕駛識別，座艙內場景識別，音樂、氛圍燈、乘客情緒、人員關系、兒童遺留識別，MiniCPM 根據場景和人物識別觸發操作建議。
車外，全場景識別能力也大幅提升，包括提升哨兵模式識別、判斷和交互能力，街景、建筑（停車場、超市、加油站等）識別能力，從而自動提醒，輔助導航。
智能座艙端側大模型時代到來
IHS Markit 數據統計，2023 年中國市場座艙智能配置水平的新車滲透率超 48%，到 2025 年滲透率預計能夠超過 75%。智能座艙的大范圍普及和高速增長，已經是大模型必然參與的落地場景和巨大商業化市場。
早有行業人士統計，相比智能手機配備的 10 多個傳感器，一輛真正的智能汽車，各類傳感器數量高達數百個，可以控制的權限和實現的復雜功能，也遠非智能手機可比。智能汽車交互方式多樣，時間固定，粘性強，多模態數據規模大，融入了人際互動的移動空間。大模型在這種復雜傳感器、多種交互和功能、具備社會屬性的移動空間里，天然能夠重新組織、協調、梳理、關聯，將其整合成為一個高度智能的服務整體。
通過語音和汽車交流，智能座艙基于大模型可以自動制作、控制、定向生成符合用戶情緒偏好的音樂、氛圍燈、影視內容，創造“隨心百變”的智能空間。基于第三方服務接入、場景定制、多模態數據學習、行為預測等核心能力，實現個性化體驗，讓“用戶自主定義汽車”，“一輛汽車有什么樣的功能和體驗，用戶來提要求，大模型來控制和生成”。
情感座艙、開放而豐富的服務生態、智能生成內容的全新體驗，凡此種種，大模型將為新汽車帶來交互智能與服務智能的深刻變革。
而端側多模態模型，參數尺寸足夠小巧，能有效運行在有限芯片算力和內存上，覆蓋高中低各種檔次座艙算力芯片，盡量做到向前和向后兼容，大大加速智能座艙的市場滲透。
端側模型不存在指令的網絡延遲，斷網和弱網環境也完全不影響使用，隧道、密集建筑、偏遠戶外等場景也能全時域和全地域適應。再加上端側模型數據完全存儲設備本地車內環境，滿足個人用戶最關心的隱私保護和數據安全需求。
高效端側模型，與智能座艙，其實絕配！
今年以來，面壁智能推出的 MiniCPM 系列端側模型，因極致高效而蜚聲全球，一次次刷新端側模型的性能極限。伴隨著對大模型知識密度的極致追求，面壁智能推出了多個不同參數尺寸的高效端側模型，包括基座模型和多模態模型，不斷優化模型在不同算力芯片、內存硬件上的流暢運行、部署，目前已在PC、手機、平板、VR/AR可穿戴設備、機器人等多個終端實際運行。面壁智能成為 TINNOVE 梧桐科技端側大模型合作方，也意味著面壁 MiniCPM 端側模型進入了全新的應用領域！
