2021 年 11 月 30 日，企業級開源分布式數據庫廠商 PingCAP 正式發布 TiDB 5.3 版本。TiDB 在規模化聯機交易和實時分析能力兩大領域實現快速的迭代創新，TiDB 5.3 版本中 HTAP 架構的性能和穩定性取得顯著提升，系統可觀測性得到進一步增強，生態工具提速為 MySQL 用戶帶來重磅福利，累計優化和更新 40 多項功能，以“一棧式數據服務平臺”幫助企業用戶更好地應對雙十一等海量數據嚴苛場景下的挑戰。
HTAP 架構的性能和穩定性取得顯著提升
在數字化轉型的過程中，企業對“海量、實時、在線”的數據需求變得更加迫切，企業中的任意人在任意時間、任意地點對任意形態的數據都可能產生消費的需求，作為 HTAP （Hybrid Transactional/Analytical Processing，即混合事務 / 分析處理）數據庫的引領者，TiDB 用“一棧式數據服務平臺”應對企業規模化交易和實時分析的需求，提升關鍵業務的時效性，降低數據技術棧的復雜性。
自 TiDB 5.0 版本 HTAP 架構發布以來，已經廣泛地應用到金融、物流、零售、新經濟等行業頭部用戶的風控、反欺詐、實時數據中臺、實時數倉等場景。在小紅書反欺詐數據分析場景中，面對單表破 50 億的數據規模，TiDB HTAP 實時查詢技能發揮穩定，分鐘級呈現促銷發放優惠券的使用與分發情況。汽車之家把 TiDB HTAP 應用于個性化營銷場景，根據用戶畫像實時推薦喜好信息與促銷信息推薦，相較 MySQL 聚合場景效能提升 20-50 倍。
得益于開源社區大量真實場景的驗證與反饋，5.3 版本對 TiFlash 列式存儲引擎進行了大幅深層優化，如調整存儲引擎底層文件結構和 IO 模型，優化訪問不同節點副本和文件區塊的計劃等。新版本中 TiFlash 支持更多的函數（涵蓋字符串、時間和其他計算）下推到 MPP 引擎，提升了分布式計算時遠程數據的讀取效率，消除了高負載條件下數據等待造成內部進程超時引起的例外和任務失敗。此外，數據校驗的完善、SQL 告警信息和日志收集的優化提升了集群的綜合運維能力。
TiDB HTAP 架構可隨數據量和業務增長輕松擴展到 200 節點以上的大規模集群，并且做到 OLTP 和 OLAP 負載隔離互不影響，在雙十一等讀寫壓力雙高的極致場景下提供性能優異、可靠穩定的服務。經實際驗證，TiDB 5.3 版本在金融、物流等超高吞吐實時在線交易場景下讀寫混合負載的綜合性能，提升幅度可達 50%～100% ，并大幅度降低了同等負載下 CPU、內存資源使用率以及由于 IO 阻塞等待造成的查詢失敗概率。
系統可觀測性進一步增強
分布式系統的可觀測性成為基礎軟件設計的重要方向，TiDB 一直以來致力于通過技術手段描繪分布式系統的全貌，幫助技術人員快速診斷系統的健康狀態，從而降低業務風險。
TiDB 5.3 版本的 TiDB Dashborad 新增持續性能分析（Continuous Profiling）功能，提供在集群運行狀態下（包括故障狀態）自動保存實例性能分析結果的能力，為用戶帶來數據庫源碼水平的性能洞察，讓原本“黑盒”的數據庫變成“白盒”。用戶可通過火焰圖進行快速的故障排查和定位，故障診斷時間縮短 50% 以上。持續性能分析提供對 TiDB、PD 和 TiKV 節點持續的性能分析并保存結果，功能開啟后對集群讀寫損耗低于 0.5%，對業務不構成影響。
某銀行技術負責人反饋：在分布式數據庫選型 POC 測試中，某些業務的查詢語句響應時間不達預期，分布式數據庫廠商往往需要花費 1-2 天的時間進行大規模的性能排查。通過使用 TiDB 的持續性能分析功能，僅需 30分鐘就能定位到性能瓶頸，為全鏈路的快速調優奠定了基礎。
生態工具提速為 MySQL 用戶帶來重磅福利
TiDB 經常被用戶比喻為”加大號的 MySQL”，當 MySQL 遇到容量和性能瓶頸的時候，可以輕松遷移到 TiDB 實現性能和容量的彈性擴展，減少分庫分表對業務的侵入以及繁瑣的運維工作，讓 MySQL 用戶即刻享受到 TiDB 實時查詢分析的紅利。
TiDB Data Migration (DM) 是一款實時數據同步工具，支持數據從與 MySQL 協議兼容的數據庫同步到 TiDB。在 5.3 版本中，DM 在合并單行數據的多次變更、點查更新合并為批量操作等方面進行了多項優化，使得分庫分表 MySQL 同步至 TiDB 的延遲大幅降低，保障了下游 TiDB 數據查詢實時性，企業無需進行大規模數據架構的改造就能快速引入 TiDB 以增強實時查詢分析效率。經場景實測，在 300K QPS 數據同步流量下，99.9% 時間內上下游同步延遲降低至 1 秒以內，尤其適用于高負載業務壓力下 TiDB 作為只讀從庫的場景。
TiDB 5.3 版本中，TiDB Lingtning 實現了全量數據遷移的再提速，為 MySQL 分庫分表架構上超過 100 TB 規模的業務遷移到 TiDB 提供了升級版方案。新版本 TiDB Lingtning 具備水平擴展能力，支持用戶同時部署多個 Lightning，并行地將單表或者多表數據遷移 TiDB。例如：在升級后，上游為 10 個分表 MySQL 集群，數據總規模 10 TB，使用 5 個 Lightning 實例并行導入，導入速度較上個版本提升 400% 以上。
除了上述三大方向的突破和升級之外，新版本 TiDB 對分布式事務一致性的核心組件分布式時間戳（TSO）的處理流程進行了深度優化，在保障分布式事務線性一致性的前提下降低時間戳獲取延遲，以更好地支撐百 TB 以及百萬 QPS 超大規模集群的擴展，優化后集群整體 QPS 吞吐實現 100% 以上的提升。
TiDB 5.3 版本還引入了臨時表功能，提供 Global 和 Local 兩類臨時表來緩存業務的中間歷史數據，計算完成后臨時表可實現自動的清理回收。一條 SQL 即可輕松創建臨時表，高效地解決了業務中間計算結果的臨時存儲問題，幫助用戶簡化業務邏輯并提升性能。
PingCAP 首席架構師唐劉表示：TiDB HTAP 的使命不僅僅局限于對傳統數據庫的升級或者是交易和分析處理性能的提升，本質上 TiDB HTAP 是一個開放的生態體系，在企業中承擔著支持數據服務消費化和構建統一實時數據服務平臺的角色，為用戶帶來業務與架構的創新與提升。本次發布的 5.3 版本是 TiDB 邁向成熟企業級 HTAP 平臺的一個重要里程碑，越來越多的企業希望通過“一棧式數據服務平臺”簡化數據技術棧，提升業務的實時洞察能力，用戶只需要掌握最基礎的 SQL 語言能力和數據分析能力就可以驅動業務決策。
更多 TiDB 5.3 版本新功能，請查閱 TiDB 官網 Release Notes
