2021年4月，字節(jié)跳動副總裁楊震原在火山引擎——飛書之外，字節(jié)跳動另一條重要的To B業(yè)務(wù)線的媒體開放日上，第一次對外介紹火山引擎的A/B測試產(chǎn)品。
至此，春天以來，火山引擎一系列的市場動作，快速占領(lǐng)了A/B測試產(chǎn)品的市場認知。
但不得不承認的是，如果與IaaS等基礎(chǔ)To B服務(wù)相比，A/B測試絕對不是一個大市場。從供給側(cè)來看，行業(yè)成熟度高的產(chǎn)品并不多。對于這塊不是那么“誘人”的業(yè)務(wù)，不缺流量、“不差錢”的字節(jié)，為何高調(diào)“出手”？

沒有“故事”，只有“務(wù)實”

A/B測試又被稱為小流量實驗。針對想改進的某個功能/UI/邏輯策略等，提供兩種或多種不同的備選解決方案，從總體企業(yè)用戶中抽取一小部分，隨機地將抽取出的流量分配給不同方案，最終結(jié)合一定的統(tǒng)計方法，通過實驗數(shù)據(jù)對比來確定最優(yōu)方案。
A/B測試帶給企業(yè)的收益主要有兩方面，一是前置性地驗證方案收益，不僅能評估出哪個方案更好，還能評估出好多少；另一方面是規(guī)避了風(fēng)險，如果某個方案會對企業(yè)業(yè)務(wù)帶來負面影響，A/B測試能夠?qū)⑵淇刂圃趯嶒灧秶鷥?nèi)。
“但是A/B測試賺不了多少錢。”火山引擎總經(jīng)理譚待在接受TO B新勢力采訪時，開門見山地說道。
譚待沒有神化A/B測試這款產(chǎn)品，也沒有講任何故事，反而強調(diào)“務(wù)實”是整個業(yè)務(wù)線從上至下的氣質(zhì)。
了解客戶到底想要解決一個什么樣的場景問題——怎么樣去衡量這個問題，如何衡量解決得好壞——通過數(shù)據(jù)還是通過人——哪些工具、哪些方法、哪些技術(shù)能夠把這事解決好。這是火山引擎團隊對內(nèi)和對外解決問題的基本邏輯。
2012年成立之初，字節(jié)跳動就在內(nèi)部使用A/B測試，之后這個工具逐漸升級、進化，成為大型的測試平臺，2018年開始服務(wù)少數(shù)外部的種子客戶，2020年通過火山引擎正式對外商業(yè)化。
“產(chǎn)品賣這么多錢，能否給客戶帶來相應(yīng)的價值？能不能解決實際問題？”譚待加入字節(jié)跳動快兩年，他覺得公司務(wù)實的文化讓他感受最深，對客戶有價值， To B生意才能長久。
字節(jié)是唯一一家將To B技術(shù)或者業(yè)務(wù)部門用“引擎”這個詞來命名的大廠。譚待解釋：“引擎的含義是技術(shù)要服務(wù)業(yè)務(wù)場景，產(chǎn)品和服務(wù)能夠幫客戶實現(xiàn)業(yè)務(wù)增長。”

火山引擎A/B測試產(chǎn)品架構(gòu)師李想進一步解釋到：“火山引擎A/B測試首先是一個對外的產(chǎn)品，進而能夠把承載字節(jié)增長的方法論和文化傳播出去。火山引擎以A/B測試為切入點，進而讓企業(yè)客戶認識到火山引擎其他的數(shù)據(jù)產(chǎn)品，這是更為關(guān)鍵的。”

目前，字節(jié)內(nèi)部對于火山引擎的To B業(yè)務(wù)并沒有強制性的營收壓力，能夠取得客戶信任和續(xù)約，獲取對To B的認知迭代，是其最為看重的。
借助A/B測試，分享字節(jié)跳動關(guān)于數(shù)據(jù)驅(qū)動的理念，這是火山引擎重倉A/B測試的本質(zhì)。
火山引擎數(shù)據(jù)智能解決方案負責(zé)人孫超赟從企業(yè)文化角度闡述了A/B測試產(chǎn)品的意義：“A/B測試背后折射出字節(jié)內(nèi)部的決策機制不是自上而下拍腦門，而是兼容并包、開放坦誠。讓數(shù)據(jù)和事實說話，避免了逐級匯報成為產(chǎn)品迭代路上的障礙。”

火山引擎產(chǎn)品架構(gòu)圖

02魔鬼藏在細節(jié)

無論是A/B測試，還是數(shù)據(jù)驅(qū)動，不得不承認的是，這都不是新概念。這一點譚待在采訪中也認可。
火山引擎進入A/B測試市場，帶來的增量是什么？
火山引擎市場部在不久前曾做過一個市場調(diào)研。1000家企業(yè)的樣本數(shù)據(jù)顯示：在企業(yè)的日常業(yè)務(wù)和管理中，A/B測試的普及率并不高，滲透率不足30%。

                       A/B測試認知度數(shù)據(jù)統(tǒng)計
“滲透率低的原因是，市場上一部分用戶不了解A/B測試，還有一部分用戶對A/B測試本身的價值沒有足夠的認知。”孫超赟認為。
此外，近一兩年A/B測試正在從一個科學(xué)概念，逐漸走向更廣泛的行業(yè)應(yīng)用。這背后的大背景是互聯(lián)網(wǎng)從粗放的流量增長階段進入到精細化運營階段。
“在所有的精細化運營工具中，A/B測試是ROI最高的一種。”孫超赟負責(zé)火山引擎智能套件華北區(qū)業(yè)務(wù)。他在接觸客戶的過程中感知到：過去幾年，企業(yè)的數(shù)字化轉(zhuǎn)型已經(jīng)接近完成第一個階段，即通過用戶行為分析工具了解包括DAU、核心業(yè)務(wù)流程轉(zhuǎn)化率、用戶留存等業(yè)務(wù)數(shù)據(jù)。
現(xiàn)在進入的第二個階段，則是通過A/B測試直接拉動業(yè)務(wù)，讓工具從成本中心轉(zhuǎn)變?yōu)槔麧欀行摹?/strong>
“A/B測試能夠告訴企業(yè)真正提升業(yè)務(wù)具體要做什么。比如，一家金融機構(gòu)，一個A/B測試的實驗可能帶來上億元的增收。”
在接觸大量用戶之后，孫超赟強烈的感受是：“準(zhǔn)確的分流是A/B測試的基礎(chǔ)門檻，且不說運維等其他成本，一旦數(shù)據(jù)分流出現(xiàn)失誤，會導(dǎo)致企業(yè)在錯誤的方向上越走越遠。”
火山引擎的A/B測試在自動分流、正交互斥上經(jīng)歷了字節(jié)早期推薦算法迭代的打磨，這些技術(shù)是字節(jié)留住客戶進行商業(yè)變現(xiàn)，搭建App矩陣的基礎(chǔ)。
在專家人才上，火山引擎的A/B測試專家涵蓋了To B領(lǐng)域，特別是字節(jié)內(nèi)部業(yè)務(wù)線成長而來的人員，他們有推薦算法等C端經(jīng)驗。
實際上，除了分流的科學(xué)性，更為復(fù)雜的是指標(biāo)設(shè)計和解讀以及置信度的統(tǒng)計方法，一旦出現(xiàn)失誤，更易導(dǎo)致錯誤的結(jié)論。
“A/B測試魔鬼藏在細節(jié)，真正能夠把產(chǎn)品做好的不多。其次，市面上其他A/B測試公司沒有C端的場景。第三，避免市場份額被蠶食而被動推出的產(chǎn)品，或者過于垂直細分的某一個技術(shù)，無法給用戶帶來最大價值。”孫超赟認為。
因為來自真實的實踐和場景，面對客戶稀奇古怪的需求，火山引擎的專家?guī)缀醵紩幸粋€早就準(zhǔn)備好的文檔，直接拿出來給客戶解答。
根據(jù)楊震原此前在媒體溝通會上透露的數(shù)據(jù)：A/B測試作為字節(jié)跳動一項非常基礎(chǔ)的工具，在通過火山引擎向企業(yè)客戶產(chǎn)品化開放之前，已經(jīng)支撐了抖音、今日頭條等產(chǎn)品的增長迭代。
目前，字節(jié)跳動A/B測試每日新增1500+實驗，服務(wù)于400多項大大小小的業(yè)務(wù)，累計做了70多萬次實驗。
這其中，最典型的例子是，抖音的名字，其實是綜合了A/B測試和人為判斷的結(jié)果，“抖音”這個名字在測試結(jié)果中排名第二。在正確的方向上，結(jié)合人為對其形態(tài)的認知和判斷，最終選定。