近日,中國地震臺網中心與火山引擎達成合作,雙方將圍繞ByteHouse實時數倉展開合作。
中國地震臺網中心為中國地震局直屬事業單位,是我國防震減災工作的重要業務樞紐、核心技術平臺和基礎信息國際交流的重要窗口;從事地震監測、預報預警、應急響應和信息化工作,是統一指導省地震臺、中心站業務的國家地震臺。
中國地震臺網中心地球物理臺網部負責人鄒銳主任表示,此前中心一直使用開源數據引擎ClickHouse,但隨著數據量不斷擴大,在數據的實時寫入去重,數據的更新、刪除以及集群運維方面存在嚴重不足,因此亟需找到新的解決方案。
如何在保持高性能查詢的情況下完成數據的實時寫入去重數據更新以及刪除,一直是ClickHouse用戶比較頭疼的問題。以中國地震臺網中心為例,中心日常在處理海量數據時,由于開源Clickhouse的去重延遲導致數據的準確性降低,同時隨著元數據的不斷增長,導致集群的重啟時間過長,進而影響業務的時效性。
字節跳動在2017年就開始大規模啟用ClickHouse,并擁有著國內規模最大的ClickHouse集群。在深度使用的過程中,字節跳動積累了大量經驗,并對ClickHouse做了深度優化與自研改造的工作,最終在2021年8月正式發布ByteHouse,并通過火山引擎對外服務。
架構上,火山引擎ByteHouse采用自研的高可用引擎HaEngine,數據實時更新、刪除的HaUnique引擎,以及高可用實時寫入的HaKafka引擎,同時在集群的運維和多表關聯的場景都做了相應的增強。
在上述提到的實時數倉場景下,ByteHouse使用全自研的優化,在復雜查詢的場景下具備更高的查詢效能,豐富的表引擎不僅能幫助地震臺網中心實現數據的快速寫入去重、更新、刪除與分析,還能支持高效方便的運維方式,實現高性能更靈活的實時查詢。
作為一款云原生數據倉庫,火山引擎ByteHouse也可以私有化部署,為像中國地震臺網中心等面臨海量數據實時分析場景的政企用戶們,帶來極速的分析體驗,助力企業數字化轉型。