2023年10月，Kimi智能助手初次亮相便憑借20萬漢字的無損上下文能力，幫助用戶解鎖很多新的使用場景，包括專業學術論文的翻譯和理解、輔助分析法律問題、快速理解API開發文檔等，獲得用戶口碑和業務量的雙增長。
2024年3月，月之暗面（Moonshot AI）宣布Kimi在長上下文窗口技術上取得新突破，無損上下文長度提升了一個數量級到200萬字。月之暗面相信，大模型無損上下文長度的數量級提升，會進一步幫助大家打開對AI應用場景的想象力，包括完整代碼庫的分析理解、可以自主幫人類完成多步驟復雜任務的智能體Agent、不會遺忘關鍵信息的終身助理、真正統一架構的多模態模型等。
過去要10000小時才能成為專家的領域，現在只需10 分鐘，Kimi 就能接近任何一個新領域的初級專家水平。支持200萬字超長無損，Kimi讓用戶更加輕松的快速學習新領域。比如，上傳一份完整的近百萬字中醫診療手冊，Kimi可以針對用戶問題給出診療建議。
快速整理大量的資料也是不少用戶在工作當中所遇到的挑戰，以簡歷篩選為例，公司HR可以基于企業業務需求，通過Kimi精讀500份簡歷，速找出有某個行業從業經歷，同時從計算機類專業畢業的求職者，更加高效地篩選和識別合適的候選人。
從20萬字到200萬字，由于沒有采用常規的漸進式提升路線，月之暗面團隊遇到的技術難度也呈指數級增加。為了達到更好的長窗口無損壓縮性能，研發和技術團隊從模型預訓練到對齊、推理環節均進行了原生的重新設計和開發，不走“滑動窗口”、“降采樣”等技術捷徑，攻克了很多底層技術難點。
在產品研發和推廣過程中，月之暗面與火山引擎展開深度合作，進行聯合技術創新，共同推進大型語言模型在垂直領域和通用場景的應用落地。
超大規模多模態大模型預訓練快、穩、省
在大規模的訓練過程中，GPU資源利用損耗、千卡任務故障概率指數增長、模型梯度爆炸、訓練效果缺少及時反饋等困難常常影響模型的訓練效率，導致數據和算力的價值難以充分發揮。
火山引擎機器學習平臺沉淀形成全棧AI開發工程優化、任務故障自愈、實驗可觀測性等解決方案和最佳實踐，為月之暗面提供了高效率、穩定、可觀測的一站式AI算法開發和迭代服務。在Kimi的打磨和發布過程中，月之暗面基于火山引擎提供的超大規模AI訓練和推理加速解決方案實現了數千卡單一大集群規模常態化訓練，幫助團隊快速完成大型語言模型的持續訓練迭代、精調和推理。
大模型訓練過程中自定義任務與開發機繁多，由于任務的啟停時間不一致，不可避免會出現GPU碎片問題導致任務調度不上?；鹕揭鏅C器學習平臺通過Binpack背包算法匯聚降低碎片，并使用調度器定期驅逐，大大提高GPU資源利用率，保障任務快速執行。同時，GPU彈性計算實例可靈活調度資源，隨用隨取，最高可以為月之暗面節省70%的算力成本。
大模型訓練是一個迭代的過程，需要進行海量實驗。火山引擎機器學習平臺支持交互式調試，集成了JupyterLab、TensorBoard、VSCode、實驗管理工具等，幫助觀測實驗各類指標。同時，大規模分布式訓練任務很可能會出現軟硬件、網絡等問題，火山引擎提供了一系列自動化故障自愈流程機制，如慢節點自動巡檢、故障自動檢測、故障注入演練等，幫助大幅減少故障對任務的影響。
數據飛輪加持模型訓練，實現全面降本增效
在與火山引擎的合作中，月之暗面團隊應用了火山引擎數智平臺VeDI旗下云原生大數據平臺E-MapReduce和增長分析DataFinder兩大產品，并結合數據飛輪方法論，在數據資產層面大大降低了模型預處理的成本，在業務應用層面則為Kimi的精準投放、高效拉新保駕護航。
火山引擎數據飛輪是企業數智化升級的新范式，其強調以數據消費為核心驅動力，使企業數據流充分融入業務流，實現數據資產和業務應用的飛輪效應。
大模型的訓練以海量數據為基礎，其訓練過程本身可視為一種大規模的數據消費。在多模態模型數據預處理過程中，非結構化數據量級龐大、數據種類及格式多樣、數據處理過程復雜，對集群的計算調度、存儲吞吐都提出了非常大的挑戰。
火山引擎通過E-MapReduce產品及相關解決方案，將Spark與Ray計算框架統一調度，共享集群資源，大大提升了數據清洗的復雜度和效率，實現了對海量數據的快速和規?；奶幚恚撼杀窘档?0%，并能應對突發任務需求，加速Kimi上線時間。
在業務層面，為了進一步推廣Kimi應用，月之暗面需要在保障廣告ROI健康水平的情況下快速拓展新客戶，一方面促進Kimi DAU的快速攀升，同時兼顧新用戶留存率，保障業務健康度。這一方面需要數據的支撐，同時也需要便捷高效的數據工具輔助業務決策。
結合火山引擎增長分析DataFinder的能力，月之暗面對產品用戶路徑優化進行了全鏈路優化，尋找轉化卡點、流失高點，結合各節點數據快速發現問題、定位問題、解決問題，確保用戶體驗，提升整體留存。與此同時，借助DataFinder的廣告投放渠道監測功能，月之暗面團隊對廣告投放效果進行了精準分析，進一步優化了推廣素材和相關活動，確保拉新效率。
月之暗面應用DataFinder方案框架
未來，火山引擎與月之暗面將持續深化合作，共同攻克技術難題，進一步幫助用戶加速AI進程?；鹕揭嬉矊⒉粩嗵嵘陨砑夹g實力和服務水平，攜手伙伴共同為用戶提供更加優質、智能的AI體驗，助力 AI 應用的創新與發展。
