速途網11月19日消息(報道:喬志斌)今日,螞蟻金服在北京舉辦主題為“巔峰洞見·聚焦金融新技術”發布會。會上,螞蟻金服解讀了支付寶“參戰”的第十一年中,背后所采用的“秘密武器”。

與十一年前相比,雙11的許多東西都改變了。比如金額——2684億,差不多是十一年前的5000倍;比如流量——訂單峰值54.4萬筆/秒,曾經是想都不敢想的數字;再比如層出不窮的新技術,就是這些驚人數字背后的“秘密武器”,給迎戰雙11的戰士們作最完備的武裝。

SOFAMesh:金融級云原生第一步
SOFAMesh是支付寶針對金融行業的特殊需求而開發的金融級中間件,屬于金融級云原生分布式框架SOFAStack的一部分,這個框架的開發始于2009年,幾乎和雙11同齡。
今年,SOFAMesh的上線,切換資源不再需要重新部署,切換時間縮短到了3分40秒。這意味著,像螞蟻森林那樣每天都會面臨流量小高峰的業務,無需事先留足資源余量,提前10分鐘開始切換資源,都綽綽有余。
2019年雙11,SOFAMesh扮演了非常重要角色——100%覆蓋螞蟻金服核心支付鏈路,幾十萬容器,峰值千萬QPS,平均RT(響應時間) 0.2ms,是業界最大的 Service Mesh 集群。它在洪峰面前的穩定性和平滑性,以及對效率的顯著提升,都是有目共睹的。
“云原生”已經成為業界公認的技術趨勢,它的目標是提升運維效率、降低資源使用成本、提升服務安全可靠性等。云原生帶來的基礎設施升級,為技術演進提供基礎能力支撐,并且提升未來架構空間的想象力。2019也是支付寶的金融級云原生落地元年,包括SOFAMesh在內的一系列云原生技術。
雙11之后,螞蟻金服舉辦的發布會上,副CTO胡喜宣布,會將打磨十年之久的SoFAStack對外公開。
OceanBase 2.2:世界紀錄就是用來打破的

2018年雙11,基于OceanBase 2.0分區方案的架構正式上線,這一架構解決了數據庫可擴展的瓶頸,將每秒交易的承載能力提升到百萬級,并讓性能提升了50%。而一年之后,在2019年的雙11中,全新上線的OceanBase 2.2版本,在2.0的基礎上,又讓性能提高了50%。
就在今年的10月3日,權威機構國際事務處理性能委員會TPC披露:螞蟻金服的分布式關系數據庫OceanBase,打破美國甲骨文公司保持了9年的世界紀錄,登頂TPC-C榜單,同時也成為首個登上該榜單的中國數據庫系統。短短的一個月之后,在2019年雙11的考場之上,OceanBase2.2又再次刷新了數據庫處理峰值,達6100萬次/秒,創造了新的世界紀錄。
其背后關鍵的秘密在于,OceanBase背后是原生的分布式數據庫設計以及PAXOS協議,通過水平擴展x86服務器就可以達到無限伸縮,支持大規模高并發的效果。
另一方面,今年為了進一步提升性能和降低延遲,OceanBase還通過中間件的優化,自動將多條SQL聚合成輕量級的存儲過程,這個過程讓原本需要數十次SQL網絡交互的任務降低為單次網絡交互,整體RT降低了20%。
現在,支付寶的業務已經100%跑在OceanBase上,作為我國第一個自研的金融級分布式數據庫,今年雙11中,支付寶支付業務100%切換到OceanBase內置的Oracle兼容模式上,支持Oracle語法以及存儲過程優化的同時,又兼具OceanBase的分布式能力,如分布式分區表、全局事務等,響應時間也更加平穩。雙11之后,OceanBase2.2也將正式公開發布。
圖智能:復雜金融關系的最優解
螞蟻的一站式圖平臺的誕生,也有著鮮明的螞蟻金服特色,同樣是“被業務倒逼出來的”。
螞蟻金服在2014年左右就開始跟進社區的圖計算的研究,圖數據庫能夠很好地和金融、社交業務結合起來。從數據量來看,分布式架構是唯一的選擇。從滿足金融場景高并發低延時的需求來看,選擇原生圖結構而非基于關系型數據庫基礎上封裝圖數據,成為必然。但也因為以上兩點,導致整個開發難度大大增加。
經過2015年初團隊開始組建,第一個圖數據庫版本GeaBase在2016年初發布,剛好遇到支付寶史上最大一次改版,模塊化功能被替換成信息流,大大強化了社交關系屬性,GeaBase開始接入支付寶鏈路。
2016年6月,新版支付寶上線,GeaBase迎來了第一筆流量。接著幾年,從支付寶大改版到新春紅包再到雙11,GeaBase迎來了業務的綻放期,到2019年雙11,GeaBase雙11主鏈路上單集群規模突破萬億邊,點邊查詢突破800萬QPS,平均時延小于10ms;成為支付寶核心鏈路上非常重要的一環;
因此,2017年,我們在海量數據基礎上,設計了一套離線計算的框架,提供自適應的分區策略,資源消耗能比同類產品降低一個數量級,同時性能還能遠遠優于GraphX等開源產品。
同時,為了方便業務算法人員根據其業務進行二次開發,還開放了C++和JAVA的接口,除了業界常見的圖編程框架的Pregel、GAS,我們還做了一定的“微創新”和能力擴展,提供了更高性能,更加豐富功能的接口。
在2019年雙11上,在線圖計算技術大放異彩,通過秒級決策,在花唄等場景幫助業務效果提升12倍。從“海量”圖存儲,到離線全圖 “按需計算”,再到“實時”在線圖計算,螞蟻的圖智能技術跟隨業務一步步發展,壯大。
融合計算引擎:新計算威力初現
今年的雙11還落地應用了一套新的“神器”——融合計算引擎,它耗費了近百位工程師一整年的心血。融合計算引擎的基礎,是螞蟻金服聯合 UC Berkeley 大學推進的新一代計算引擎Ray,它很年輕,2018年融合計算引擎項目啟動時,它只有幾萬行代碼,距離金融級線上環境的應用還差得很遠。
在計算引擎執行層面,不同計算模式的數據是可以在引擎內共享的,很少借助第三方存儲,因此對外部存儲和網絡傳輸的開銷也都有極大的節省。
在應用方面,融合計算引擎不僅能夠解決金融場景中需要銜接多個不同計算模式的難題,還能支持各種不同時效性的業務,并在支付過程中提供秒級智能決策能力。
并且隨著融合引擎的落地,也改變著技術同學的研發習慣。我們希望通過融合計算引擎,達成研發態,運行態,運維態三位一體的統一:例如在動態圖計算場景,計算開發同學只需要編寫一個流+圖的計算作業,就可以實現秒級6度鄰居的圖迭代計算;同樣在機器學習領域,通過編寫一個包含流+模型訓練+服務的計算作業,就可以實現端到端秒級模型導出的在線學習能力。這樣從研發到運行態,計算整體效率都得到了極大提升。
今年雙11中,融合計算引擎在至少三個場景中成功落地并被驗證可行,“還跑在了螞蟻金融級關鍵決策鏈路上。”周家英不無興奮,“這證明了我們的計算引擎具備了金融級的能力。”
事實上,無論是在雙11這樣的極端大考場景中,還是在支付寶、阿里巴巴,以及各個互聯網科技公司的日常應用場景中,數據驅動的業務也越來越多。相應地,海量數據的實時處理、分析和應用,以及人工智能、深度學習等新技術的開發,都在要求著更強大的計算能力,以及能夠應對復雜場景的多種計算模式。
面對未來,更多的是未知——我們尚且不知未來會出現什么樣的場景,這些場景會要求什么樣的計算模式和計算能力。“融合計算是真正意義上的新計算的第一步。”螞蟻金服計算存儲首席架構師何昌華說。
