采用開源大數(shù)據(jù)平臺CDP和CDH的用戶，現(xiàn)在必須面對原有開源軟件許可證變更和產品服務限制等方面的挑戰(zhàn)。
基于Hadoop的開源軟件公司Cloudera與Hortonworks于2018年10月宣布合并，并在2019年推出了結合了Cloudera原有產品CDH和Hortonworks原有產品HDP的全新的大數(shù)據(jù)平臺產品CDP。
合并后的Cloudera整合了Hortonworks和Cloudera各自在之前使用的授權許可方式，對許可方式進行調整：Cloudera所有產品都將采用OSI批準的許可證，即Apache軟件許可證(ASL)或Affero通用公共許可證(AGPL)。用戶不得不面臨許可變更帶來的風險。
另一方面，Cloudera對原有產品的服務支持也做出調整。Cloudera會在2022年前繼續(xù)支持CDH和HDP兩條產品線，給用戶一個過渡期。原有的CDH和HDP用戶均可通過升級至CDP獲得諸多新功能。也就是說，在2022年全部用戶都將遷移到CDP上來。但CDP以訂閱方式提供服務，用戶付費成本大幅增加。
同時開源軟件的安全事故迭出，影響巨大。同時，開源軟件安全方面功能的缺失或者被限制，也成為用戶應用的后顧之慮。
如何面對許可方式的變更，產品服務方式改變所帶來的成本增加，以及不斷增加的安全威脅，已經(jīng)成為CDP和CDH的用戶不得不面對的問題。
春秋航空公司，是國內第一家由民營資本獨立經(jīng)營的低成本航空公司，也是國內第一家由旅行社起家的低成本航空公司。成立37年來，春秋航空公司快速發(fā)展，從正式開航到現(xiàn)在，機隊規(guī)模已經(jīng)達到96架、國際國內航線達到210條，是國內低成本航空公司的典范。
春秋航空用星環(huán)科技大數(shù)據(jù)基礎平臺TDH成功替換開源大數(shù)據(jù)平臺CDH，打破了新技術與業(yè)務場景之間的隔閡，用技術為業(yè)務賦能，快速挖掘數(shù)據(jù)價值。借助星環(huán)科技TDH 極速大數(shù)據(jù)平臺，春秋航空快速提高了數(shù)據(jù)處理規(guī)模和數(shù)據(jù)處理性能，增強了數(shù)據(jù)管控力度，為數(shù)據(jù)挖掘和數(shù)據(jù)分析提供了全面的數(shù)據(jù)支持，堪稱大數(shù)據(jù)平臺國產化替代的典范。
春秋航空大數(shù)據(jù)平臺建設需求和挑戰(zhàn)
春秋航空是一家倡導旅客個性化消費的航空公司，提升利潤和降低成本是春秋航空一直希望做的事情。而航空公司是重資產低利潤的行業(yè)，節(jié)約成本在眾多提高利潤的因素中占很大的比重。航空公司的航油成本占了總成本的30%到40%，所以節(jié)省航油成為降低成本的關鍵。
節(jié)省航油理論上講并不是很難，和開車的邏輯類似，按最短的路線，或控制好油門都可以省油。我們開車時能用GPS選擇最短路線，對于飛機飛行來說卻沒有那么簡單。首先，我們要對飛機的飛行日志進行分析。飛機上的QAR(Quick Access Recorder，快速存取記錄器)每八分之一秒會將飛機上3000多個設備儀器的參數(shù)記錄一次，飛機一天在天上要飛十幾個小時，一年下來數(shù)據(jù)量非常大。每架飛機一年會記錄一億多條數(shù)據(jù)，80多架飛機一年就是80多億條數(shù)據(jù)。因此做好節(jié)油工作首要任務是解決80多億的數(shù)據(jù)處理問題。
早期，春秋航空引入了開源大數(shù)據(jù)平臺CDH，并基于該平臺開展了個性化推薦、精準營銷方面的工作，但在使用的過程中發(fā)現(xiàn)了很多問題。對于復雜的航空業(yè)務，原平臺需要大量的開發(fā)工作來適配業(yè)務，對開發(fā)人員的要求非常高，很難實現(xiàn)業(yè)務的快速落地和價值挖掘。
面對一些跨庫關聯(lián)的復雜分析場景需要數(shù)據(jù)的導入導出，過程較為繁瑣，費時費力。數(shù)據(jù)分析人員需要對數(shù)據(jù)進行實時分析，以便對業(yè)務進行快速調整，而原平臺只支持T+1的計算分析能力，不能滿足業(yè)務分析的實時性需求。如剛才介紹，航空飛行產生海量的數(shù)據(jù)，精細化到毫秒級別，而原平臺表現(xiàn)出存儲和處理分析能力不足。
另外，其混合架構以及開源特性使得解決問題的效率相對會比較低，給系統(tǒng)和業(yè)務運維帶來很大的壓力。
星環(huán)科技TDH助力春秋航空快速實現(xiàn)數(shù)據(jù)價值
當前，企業(yè)數(shù)智化轉型正是信息技術自主創(chuàng)新和國產化替代的主戰(zhàn)場，更是需要通過提升自主創(chuàng)新能力、加速數(shù)字化智能化轉型，全面推動整個產業(yè)數(shù)字化進程。
基于星環(huán)科技大數(shù)據(jù)基礎平臺TDH技術的先進性和獨特性，春秋航空用TDH替換原先的開源CDH數(shù)據(jù)平臺。借助星環(huán)科技TDH 高性能批處理及關系型分析引擎Inceptor等工具，春秋航空完成各種數(shù)據(jù)清洗，業(yè)務處理等工作，提高了數(shù)據(jù)處理規(guī)模，數(shù)據(jù)處理性能更快，增強了數(shù)據(jù)管控力度，為數(shù)據(jù)挖掘和數(shù)據(jù)分析提供了全生命周期的數(shù)據(jù)支持。
星環(huán)科技TDH大數(shù)據(jù)基礎平臺采用先進的多模型統(tǒng)一架構，一體化構建服務于整個企業(yè)的統(tǒng)一數(shù)據(jù)資源庫，徹底打破不同部門間的數(shù)據(jù)隔閡，支持數(shù)據(jù)跨部門靈活調用，有效降低開發(fā)運維成本。統(tǒng)一的計算引擎可以跟據(jù)不同的存儲引擎自動匹配高性能算法，避免數(shù)據(jù)導入導出。統(tǒng)一的分布式存儲管理系統(tǒng)可以輕松實現(xiàn) GB~PB級多源異構數(shù)據(jù)的高效存儲和統(tǒng)一管理，為不同的存儲引擎提供公共的存儲服務，有效保障數(shù)據(jù)一致性和高可用。
基于星環(huán)大數(shù)據(jù)平臺的架構設計
系統(tǒng)將每天產生在Oracle的數(shù)據(jù)進行T+1抽取，業(yè)務邏輯打包成各種shell腳本等腳本，通過Transwarp Workflow任務調度軟件進行調度，在大數(shù)據(jù)集群內進行各種處理，完成數(shù)據(jù)清洗，業(yè)務匯總等工作。
關系型分析引擎Inceptor提供PB級海量數(shù)據(jù)的高性能分析服務，其同時支持完整的SQL標準語法，兼容Oracle、IBM DB2、Teradata方言，兼容Oracle和DB2的存儲過程，可以平滑遷移應用。同時其支持分布式事務處理，保障數(shù)據(jù)強一致性。跟開源方案相比，Inceptor是全球首個通過分析決策系統(tǒng)國際基準測試TPC-DS及官方審計的產品，TPC-DS查詢性能是開源Hive的7~25倍。
實時流計算引擎Transwarp Slipstream落地即分析，提供百萬級高吞吐、毫秒級低延時業(yè)務處理支撐能力，滿足業(yè)務分析實時性需求，彌補之前CDH無實時分析能力的空缺。對于之前平臺無二級索引和全文搜索能力，分布式搜索引擎Transwarp Scope提供PB級海量數(shù)據(jù)的交互式多維檢索分析服務，能夠實現(xiàn)高可靠、高擴展性的全文搜索與靈活查詢。
春秋航空進入數(shù)據(jù)精細化運營時代
突破關鍵核心技術，加快推進國產自主可控替代計劃，構建安全可控的信息技術體系，發(fā)展信創(chuàng)產業(yè)，是國家一項長期戰(zhàn)略。經(jīng)過多年的發(fā)展，我國國產化替代不斷拓展，信創(chuàng)產業(yè)不斷發(fā)展壯大。
在數(shù)字經(jīng)濟時代，IT系統(tǒng)自主創(chuàng)新和國產化替代已經(jīng)不再僅僅是進口的軟硬件產品替換成國產產品，而是要以新的思路、新的應用，將數(shù)智化與信創(chuàng)化相結合，形成中國企業(yè)真正的國產化應用替代。
星環(huán)科技與春秋航空的合作，成功的用國產自主可控的國產大數(shù)據(jù)平臺替代國外的開源大數(shù)據(jù)平臺，應用成效突出：
利用星環(huán)科技TDH強大的數(shù)據(jù)處理能力，春秋航空完成了成本指數(shù)監(jiān)控。例如上線4個月時，成本指數(shù)執(zhí)行率從58%上升到69%。隨后春秋航空又建立了直飛優(yōu)化模型和高度優(yōu)化模型，實現(xiàn)了飛行路線的優(yōu)化。通過直飛模型可以提前分析大量的直飛機會，減少飛行距離，降低飛行成本。
同時通過對歷史飛行軌跡及優(yōu)化分析，可以尋找飛機攜帶油量的平衡點，從而降低航油消耗?；谛黔h(huán)科技TDH極速大數(shù)據(jù)平臺，春秋航空還建立了高度優(yōu)化模型。大氣層越往上越稀薄，飛機飛得越高阻力越小，意味著越節(jié)油。通過海量數(shù)據(jù)監(jiān)控建立高度模型對飛機飛行高度進行優(yōu)化，從而達到節(jié)省航油的目的。春秋航空節(jié)油項目取得了很好的效果，據(jù)估算80架飛機每年僅燃油成本就可節(jié)省約2400萬。
目前，基于星環(huán)科技TDH的大數(shù)據(jù)平臺已成為春秋航空所有數(shù)據(jù)的中心，負責所有條線營銷服務、飛行安全、維護維修的數(shù)據(jù)分析。
星環(huán)科技大數(shù)據(jù)基礎平臺TDH憑借技術的先進性，在眾多行業(yè)領域完成國外產品的進口替代，幫助企業(yè)加速數(shù)字化轉型，更全面、更便捷、更智能、更安全地運用數(shù)據(jù)，大幅降低綜合成本?；谛黔h(huán)科技極速大數(shù)據(jù)平臺構建核心商業(yè)系統(tǒng)，是企業(yè)實現(xiàn)一站式數(shù)字化轉型、加速業(yè)務創(chuàng)新的致勝關鍵。
