速途網3月23日消息（報道：李楠）今日，2024全球開發者先鋒大會上，阿里云魔搭社區公布“ModelScope-Sora開源計劃”，將以開源力量助力中國類Sora模型的探索和創新。該計劃將為類Sora模型開發提供一站式工具鏈，涵蓋數據處理工具、多模態數據集、類Sora基礎模型、訓練推理工具等。現階段，魔搭發布了業界首個開源的多模態數據處理系統Data-Juicer，包含100多種高效算子，可大幅提升視頻數據處理效率和質量。
Sora引發整個技術圈對多模態大模型的關注。除采用DiT模型架構外，學習了大量高質量數據，無疑也是Sora效果驚人的秘訣。阿里通義實驗室資深算法專家李雅亮表示，“數據決定了機器學習任務的天花板，只有‘投喂’的數據質量高、顆粒度細、數量多，模型訓練才能走出‘垃圾進，垃圾出’的困境。”
不過，類Sora模型的數據處理挑戰極大。主流大數據框架并非為多模態數據設計，而視頻處理難度較圖文又大幅攀升，現有工具難以應對。因此，“ModelScope-Sora開源計劃”首先上架了由阿里通義實驗室研發的多模態數據處理系統Data-Juicer，它可對龐雜的多模態數據去粗取精，“榨出”更高質量、更豐富、更易“消化”的數據。
Data-Juicer支持文本、圖片、音頻、視頻，內置篩選、映射、去重、格式化輸出、美學打分等上百種高效算子，開發者可以像玩樂高一樣自由組合。就像精于剪輯的導演，Data-Juicer能根據指定動作自動剪出視頻片段，還能增強分辨率、調整寬高比、去除文本段，或通過計算光流判斷視頻動靜，只保留精彩瞬間。此外，它還可自動打標，對光線變化、環境氛圍都能精細捕捉并生成文字描述。
魔搭開源的Data-Juicer流程示意圖
李雅亮介紹，魔搭社區還推出了基于Data-Juicer的沙盒實驗室。研發人員可以先在迷你數據集和模型上快速迭代，找到最合適的配方。
然后，在Data-Juicer的數據加工流水線上，開發者可以使用阿里云PAI來調用集群和GPU進行大規模數據處理，后續還可在PAI上一站式完成模型的訓練、推理。
魔搭“ModelScope-Sora計劃”同步開源了基礎類Sora模型。華東師范大學段忠杰博士聯合魔搭社區，實現了DiT架構的視頻生成擴散模型lite-Sora，并在小規模數據集上初步訓練，得到能生成大幅度運動視頻的實驗模型。該模型正進一步深度訓練，最終目標是完成對Sora的復現。
魔搭開源的lite-Sora模型架構圖
接下來，魔搭社區還將舉辦“ModelScope-Sora挑戰賽”, 鼓勵更多開發者打造并開源自己的類Sora模型，共同加速中國多模態大模型的發展。同時，魔搭將助力構建開放的中文高質量多模態數據集。作為國內規模最大、最活躍的AI開源模型社區，阿里云魔搭目前已匯聚3000多款優質模型及上千數據集，為超過400萬開發者提供模型及免費算力服務。
