怎么對AB測試的結(jié)果做分析?
對AB測試成果的剖析可分為統(tǒng)計(jì)剖析和業(yè)務(wù)剖析兩個方面。
1、統(tǒng)計(jì)剖析
統(tǒng)計(jì)剖析,所謂的統(tǒng)計(jì)剖析就是從統(tǒng)計(jì)的角度來剖析是否可信。
分為三個層次:一是剖析AB兩個版本之間的不同水平,以統(tǒng)計(jì)上的明顯性反應(yīng)出來,然后再剖析差別大小,這里用改良的后果來表現(xiàn),即轉(zhuǎn)化率的增長或減少的幅度;最后是差別區(qū)間,表現(xiàn)轉(zhuǎn)化率改良的空間規(guī)模。
統(tǒng)計(jì)學(xué)上有意義:
統(tǒng)計(jì)學(xué)上的明顯性也稱為明顯性,是指兩組間態(tài)度上的差別是由制度因素而非偶然因素的影響,同時假定影響差別的其他影響因素是我們所推論的因素,但這一點(diǎn)也不是100%保證,所以會有一個概率值,即顯著的水平。
如前所述,統(tǒng)計(jì)明顯性的值表現(xiàn)以下含義:
1)超過95%:優(yōu)化版本與原始版本之間存在明顯的統(tǒng)計(jì)差別,轉(zhuǎn)換率“改良”是可信的;
2)90%~95%:優(yōu)化版本與原始版本之間的統(tǒng)計(jì)差別存在疑問,轉(zhuǎn)換率的「改良」是有疑問的;
3)低于90%:優(yōu)化版本與原始版本之間沒有明顯的統(tǒng)計(jì)差別,轉(zhuǎn)換率的“改良”是不可信的;
改良后果:
優(yōu)化后的AB測試版本比本來的版本進(jìn)步了多少。盤算公式為:(優(yōu)化版本轉(zhuǎn)換率-原始版本轉(zhuǎn)換)/原始版本的轉(zhuǎn)化率。
差異規(guī)模:
即優(yōu)化后的AB測試版本和原始版本間轉(zhuǎn)換率差別最可能散布的區(qū)間。比如:A版是原版,B版是優(yōu)化版,A版是10%,B版是15%,B版是5%,兩者的絕對差值是5%,而轉(zhuǎn)換率的相對差值是50%。
2、業(yè)務(wù)剖析
經(jīng)過上述統(tǒng)計(jì)剖析肯定可信度后,須要對AB測試成果進(jìn)行商業(yè)剖析。由于統(tǒng)計(jì)剖析得到的是差別性因素,在行業(yè)知識、顧客心理、用戶行動習(xí)慣、偏好等方面進(jìn)一步進(jìn)行剖析,從數(shù)據(jù)的統(tǒng)計(jì)中發(fā)掘出真正發(fā)生差別的原因。
特別聲明:以上文章內(nèi)容僅代表作者本人觀點(diǎn),不代表ESG跨境電商觀點(diǎn)或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。
二維碼加載中...
使用微信掃一掃登錄
使用賬號密碼登錄
平臺顧問
微信掃一掃
馬上聯(lián)系在線顧問
小程序
ESG跨境小程序
手機(jī)入駐更便捷
返回頂部