“迭代”早已成為互聯網、金融、零售等很多行業產品開發的基礎和準則。然而在現實經營過程中，產品的迭代開發卻不是那么簡單。很多企業表示，在傳統架構下，缺乏高效且精準的工具，迭代往往成為堆砌人力的低效過程，經常無法達到企業的預想目的。而一些新的工具，如A/B測試則給這些企業的產品迭代開發帶來新的思路。

4月26日，由市場研究公司Forrester調研撰寫的《火山引擎A/B測試總體經濟影響白皮書》（以下簡稱《白皮書》）正式發布，揭示了A/B測試對于企業營收增長、運營成本、生產力優化等方面的重要影響。基于對多家企業調研，Forrester發現企業營收增長與其洞察力高度相關，A/B測試已成為企業提升洞察力最有效的工具之一。

據了解，A/B測試在谷歌、亞馬遜、Facebook等互聯網公司被大規模應用。谷歌每月僅搜索廣告產品上就會做幾百、上千次實驗，而亞馬遜在購物流程的優化上，小到一個按鈕的變化，大到一個流程的改變，全部應用A/B測試作為核心優化策略。在國內，字節跳動在2021年初每天同時進行的A/B測試也達到上萬場，單日新增實驗數量超過1500個，覆蓋400多個大大小小的業務，而且這些數字還在不斷擴大。

具體到“迭代開發”問題，《白皮書》發現，引入A/B測試產品，可以幫助企業有效提升產品迭代效率。其采集的受訪公司數據顯示，使用火山引擎A/B測試后，產品上線迭代效率普遍提升程度達到了20%。

《白皮書》指出，在使用火山引擎A/B 前，受訪企業的產品迭代開發已經成為一項繁瑣且需要大量人力的工作，以某受訪企業為例，產品迭代開發需要包括開發、測試、運營以及數據分析在內的共計 7 名工程師，累計投入時間 840 小時，才能保證產品的發布及上線。而調查顯示，通過火山引擎 A/B 測試平臺的“灰度發布”功能，大大減輕了原有模式中需要測試、逐項發布、監控以及回滾帶來的負擔及風險。

受訪企業還表示，除了開發環節之外，產品的全部生命周期中，還需要包括產品經理、數據分析師以及運營人員在內的共計 5 名人員，負責前期需求論證以及運營優化，每次新功能或新版本的規劃需要投入時間 400 小時。而通過使用火山引擎A/B 測試產品，使公司得以更好地洞察客戶，在正式產品上線前驗證不同優化措施的效果，確定最優的方案。以上這兩項改善措施的應用，使公司的產品迭代開發效率大為提升，三年之中，已為企業節省超過127萬元的成本。

《白皮書》提到，受訪的某互聯網公司CTO表示：“在我們過去的交互設計以及運營策略的優化上，主要依靠經驗判斷，例如會員價格的調整，先推出上線，看效果不好再去改，反復試錯，效率非常低。”

另一家受訪企業負責人表示，盡管公司采取了 Release Train 的開發模式，但隨著產品以及APP 功能的不斷豐富，產品及功能上線決策以版本迭代的問題還是不斷暴露出來，包括開發主要依靠產品經理個人的經驗及認知，缺乏科學的決策方法。同時，對于開發及測試人員，每次更新的版本都要經過大量的開發和測試環境的測試，再通過灰度發布進行小規模的 UAT 測試，一旦出現問題就要回滾。當出現多個需要測試的功能或版本時，效率就非常堪憂。

通過火山引擎 A/B 測試的 A/B 測試上線方法，可以同步進行多個版本的測試，改進灰度上線方法。《白皮書》顯示，通過引入火山引擎A/B測試產品，受訪企業在開發測試和運營人員方面，可以分別得到20%及30%的效率提升。所節省下來的時間，可以用來進行其它工作，因此而帶來生產效率的提升，為企業帶來了更多收益，生產力轉化系數達到了60%。

除迭代開發之外，火山引擎A/B測試產品的應用，在數據分析，和其他如提升點擊通過率、客戶參與及活躍度，以及降低產品新版本發布風險等非量化收益方面，也都展現出了非常大的價值；同時，部署具有靈活性，且成本可控，對迫切希望全面改善運營效率的企業來說，是不錯的選擇。（作者：王振）