近日，火山引擎A/B測試（DataTester）通過中國信通院大數據應用與安全創新實驗室第三批“SDK 安全專項行動”測評。

作為業內權威評測，“SDK 安全專項行動”集中評測了SDK在“基礎安全、數據安全存儲、數據安全交互、重要組件安全、代碼及資源文件安全防護”等五個方面的情況。經過嚴格的技術評審，火山引擎A/B測試SDK順利通過評測。

圖注：中國信通院SDK安全專項評測證書

在業內，A/B測試又被稱為小流量實驗，指對不同策略進行對比實驗，根據結果選擇最優方案。互聯網時代，A/B測試被廣泛應用于產品開發和運營中，并成為業務增長與企業決策的一項重要工具。

字節跳動副總裁楊震原在去年火山引擎技術開放日活動中介紹，在字節跳動成立之初，今日頭條就已經在做策略推薦類的A/B測試。數據顯示，截至2021年8月底，字節跳動每天同時進行的A/B測試達到上萬場，單日新增實驗數量超過1500個，覆蓋500多個大大小小的業務，已累計做了80多萬次A/B測試，隨著業務發展這個數字還將持續擴大。

火山引擎A/B測試經歷了字節跳動內部多年的打磨，于2021年正式對外開放。在實驗自動分流、流量正交互斥、指標設計和解讀、置信度統計等方面，火山引擎A/B測試都積累了非常成熟的技術基礎，其使用效果也得到了客戶的認可。

以悟空租車為例：通過火山引擎A/B測試，悟空租車實現了“上線即增長”。團隊利用小流量進行方案試錯，并設計了一組A/B實驗，基于實驗效果推出的新方案為“最終下單完成”指標直接帶來近7%的增長。

目前，該公司已通過火山引擎A/B測試進行了70多次A/B測試，約有60%為正向實驗，提升產品轉換率約40%，以往需要一周時間的需求復盤數據分析，現在只要一天就能得到數據結論，更直觀地量化了需求價值，極大地提升了效率。

圖注：火山引擎A/B測試（DataTester）產品架構圖

火山引擎A/B測試提供從實驗設計、實驗創建、指標計算、統計分析到最終評估上線等貫穿整個實驗生命周期的服務，助力業務在快速迭代的路上，大膽假設、小心求證。

在先進的底層算法加持下，火山引擎A/B測試通過科學分流和智能統計引擎等功能，保障實驗結果可靠有效。

目前，火山引擎A/B測試已覆蓋推薦、廣告、搜索、UI、產品功能等多種業務場景，并在不同場景下提供多種特殊實驗解決方案（如無需編程的可視化實驗等），讓A/B實驗更易用。

上線一年多時間里，火山引擎A/B測試已為幾百家客戶提供了安全可靠的SDK。未來還將不斷優化SDK解決方案，保障數據安全與用戶隱私，參與并推動大數據和互聯網行業安全健康發展。