速途網2月21日消息(報道:李楠)今日,達摩院聯合高德發布業界首個多模態地理文本預訓練模型MGeo,其可充分理解地圖上的每一個元素,并精準完成地圖搜索、地理位置分析等任務。MGeo是阿里通義模型系列旗下的新模型,目前已在魔搭社區開放(https://modelscope.cn/models/damo/mgeo_backbone_chinese_base/summary)。
地理文本信息處理是導航軟件、物流以及零售等行業的基礎。然而,目前傳統地理文本AI算法對于地理信息的理解仍局限在經緯度以及經緯度的遠近上,無法像人類一樣理解地圖上的元素,該方法難以精準表示景區、園區、商業街等大型地理實體的具體形狀,以及不同地圖元素之間復雜的臨近、包含等關系。
針對上述問題,達摩院聯合高德提出地理文本多模態模型,使用對抗MLM預訓練、句子對預訓練及多模態預訓練三大技術,并用多任務預訓練將這三種預訓練任務進行動態組合,最終訓練得到適合于多類地理文本任務的預訓練底座MGeo。該模型擁有豐富的地理知識,能像人類一樣跨模態理解地圖與地理文本的信息,相關研究成果已被EMNLP、AAAI等國際頂級會議收錄。

MGeo像人類一樣具備跨模態理解能力,可識別地圖元素之間的位置關系
據悉,高德基于MGeo研發了全新的模型,不僅顯著提高泛化語義的表示能力,還可準確識別不同地圖元素之間的位置關系,有效提升用戶的搜索體驗。例如,當用戶在杭州輸入“星光薈對面中國美術”時,MGeo能根據位置關系準確定位到中國美術學院象山校區,而傳統BERT模型則給出了錯誤定位結果;此外,在用戶書寫有誤的情況下,該模型也能匹配正確的結果。該能力已逐步在高德灰度上線。

在四平市搜索“傭兵小區”,高德可準確定位“擁軍社區”
達摩院語言技術實驗室負責人黃非表示:“地理信息與AI的融合已是業界公認的趨勢,但傳統AI比如文本處理在地理信息應用場景中有一定局限性 ,我們需要讓AI學習人類對于空間信息的理解范式,例如,通過地圖中的地理實體以及他們之間的關系來判定地理文本中各個元素的歸屬以及指向?!?/p>
作為最早投入預訓練語言模型研究的團隊之一,達摩院研發了阿里通義AliceMind,該體系涵蓋預訓練模型、多語言預訓練模型、超大中文預訓練模型等,具備閱讀理解、機器翻譯、對話問答、文檔處理等多種能力,該模型體系已斬獲36項國際賽事冠軍。