相信對于很多剛?cè)腴T的分析師小白來說，評估活動效果、洞察業(yè)務(wù)機會，是所有工作中最可以體現(xiàn)價值感的事情，但也可能是令我們最頭疼的事情。本文作者基于自身的實際工作經(jīng)歷，結(jié)合一個真實的運營活動，對活動評估中可以復(fù)用的數(shù)據(jù)分析“套路”進行總結(jié)和整理，希望能夠給初接觸數(shù)據(jù)分析的同學帶來幫助。
一般來說，互聯(lián)網(wǎng)公司的運營活動按照目的可以分為3種：拉新、促活、品牌宣傳，盡管每種活動關(guān)注的核心績效指標完全不同，但是分析的思路還是可以套路化的。接下來，本文將以某次促活活動為案例，分享下如何對一場活動的效果進行量化評估。 伴隨著移動互聯(lián)網(wǎng)用戶的增速越來越趨于飽和，用戶增長的破局方法不得不從拉新獲客轉(zhuǎn)換為如何促活存量用戶。 通過第三方廣告媒體app（比如微信、抖音等）投放針對老用戶的素材對用戶促活，已經(jīng)成為很多公司用來提升存量老用戶活躍度的有效方法（后續(xù)會統(tǒng)稱為“渠道拉活”） 某公司的市場投放部門也開始投入預(yù)算試水「渠道拉活」這一項目，在項目啟動一段時間后，已經(jīng)回收累積了大量的用戶數(shù)據(jù)，但是： 1、渠道拉活對于DAU的帶動貢獻究竟有多大？ 2、是否值得持續(xù)投入更多的資源？ 3、活動情況的ROI如何？是否符合預(yù)期？ 4、活動是否存在改進空間？ 這些領(lǐng)導(dǎo)和業(yè)務(wù)方非常關(guān)注的問題，需要分析師基于數(shù)據(jù)給出公正和客觀的答復(fù)。
一、活動背景
二、分析框架和指標體系
2.1、分析框架
活動整體增量效果評估 (包括短期效果分析、長期效果分析)
ROI 核算（計算單用戶的拉新或者促活成本）
參活用戶質(zhì)量評估
活動存在問題分析
2.2、指標體系
數(shù)據(jù)指標： DAU 參與活動的用戶數(shù)（舉例：渠道拉活成功召回的用戶數(shù)） 通過活動首次調(diào)起app的uv（舉例：通過渠道拉活首次調(diào)起app的uv） 通過活動首次調(diào)起app的uv占day的比例（舉例：通過渠道拉活首次調(diào)起uv的dau占比） 可解決的問題： 通過對比事先制定好的活動KPI指標，評估目標完成率； 與其他活動對比，評估促活的核心指標（通常是DAU）是否達到預(yù)期； 評估渠道拉活能夠召回的用戶量級有多大； 評估對DAU的凈增量貢獻有多大； 數(shù)據(jù)指標： 留存率（次日回訪率、7日回訪率、30日回訪率） 日均使用時長 核心功能滲透率 核心功能人均PV 人群畫像（性別、城市、消費能力） 可解決的問題： 評估渠道召回用戶的質(zhì)量 監(jiān)測是否存在刷量作弊渠道 數(shù)據(jù)指標： 站外轉(zhuǎn)化漏斗（舉例：廣告曝光-廣告點擊-成功調(diào)起app-deeplink抵達特定頁面） 站內(nèi)核心行為的轉(zhuǎn)化漏斗（舉例：活動頁-列表頁-詳情頁） 可解決的問題： 評估用戶從站外渠道到抵達App的路徑是否順暢，發(fā)現(xiàn)產(chǎn)品bug或者可以改善的機會點 評估活動的站內(nèi)承接策略是否合理 在量化DAU (或者活躍天數(shù)) 貢獻時，需要減去用戶的自然活躍量，即計算“凈增量”貢獻。該貢獻可以分為當日貢獻和長期貢獻。 當日貢獻是指：當日的召回用戶對于當日DAU的增量貢獻 長期貢獻是指：由于召回用戶的后續(xù)回流，在后續(xù)特定時間范圍還會持續(xù)貢獻的用戶天數(shù)增量。比如，活動后的50個參與用戶，在后續(xù)30天內(nèi)人均活躍天數(shù)比活動前提高10天，那么促活的增量貢獻就是1500天。 不得不承認，AB實驗最擅長處理歸因和量化的問題。它的思想是，將流量隨機分為數(shù)量均勻和特征均勻的兩組（即對照組和實驗組），實驗組用戶只有在產(chǎn)品策略上與對照組不同，因此我們可以認為兩組用戶在同一時間維度上的指標差異，可以完全歸因于策略上的差異。 然而，該廣告拉活項目無法設(shè)計對應(yīng)的AB實驗，但我們可以基于AB測試的思想，構(gòu)造與實驗組“相似”的用戶群體作為對照組。具體過程如下：
2.21、流量規(guī)模
2.22、用戶質(zhì)量、用戶畫像
2.23、用戶行為
三、分析過程
3.1、活動效果評估以及活動ROI分析
1、將拉活渠道喚起app的用戶作為實驗組，未曾被拉活召回的存量用戶作為對照組；
2、選取可能影響用戶未來活躍度的特征（比如機型、新增渠道、歷史活躍度、…），基于“特征相同”的原則，對兩組用戶劃分為 N 對實驗組和對照組。注意盡量將特征通過區(qū)間離散化，避免劃分出的某一組落入的樣本數(shù)過少，導(dǎo)致兩組樣本的指標差異不可信，比如特征「新增日期間隔」可以離散化為：7天內(nèi)、8-14天、14天以上；
3、計算 N 對實驗組和對照組的每一組的指標差異值，以及實驗組的總指標差異（等于每一組指標差異*人群占比的相乘結(jié)果求和）
通過以上方法，可以計算出拉活對于當日DAU的貢獻、以及拉活對于未來30天DAU的總增量貢獻。
實際上，對于拉活對DAU的單次短期貢獻，有更為簡便的方法，即基于“首次歸因”的思想，通過“拉活首次調(diào)起app的uv”進行量化評估，即如果用戶多次啟動過app，那么只有當通過促活廣告首次調(diào)起app了，才會計入到促活廣告的功勞。 值得一提的是，“首次歸因”的方法也可以應(yīng)用至“產(chǎn)品新上線功能評估”的效果量化中，通常我們可以將“啟動app后首次訪問該功能的用戶量”作為該功能對dau的貢獻量。 對于活動成本的核算，我們可以通過 “總成本消耗量 / 總DAU增量”，計算每個DAU增量的成本，以評估ROI是否符合預(yù)期。 可以以「大盤未參活用戶」、「同期同類活動」、「往期同類活動」分別作為對比基準，基于用戶行為漏斗、留存率、核心行為pv、人均使用時長等指標，識別本次促活策略是否有薅羊毛或者作弊嚴重的渠道，并評估活動拉來的用戶質(zhì)量好壞。但這里不作為本次分享重點，因此不再展開贅述。 1、如何構(gòu)建活動評估的指標體系； 2、如何量化歸因活動的短期貢獻（即“首次歸因”法）； 3、如何在無法開展AB測試的情況下，通過構(gòu)造對照組的方式，快速地量化評估長期的增量貢獻； -END3.2、用戶行為分析、和用戶質(zhì)量評估
四、結(jié)語
作為數(shù)據(jù)分析師，實際工作中遇到的促活策略往往是五花八門，但是活動效果好壞的評估過程依然是有章可循的。最后，簡單總結(jié)下本文對于后續(xù)活動評估的可復(fù)用之處：
【轉(zhuǎn)載說明】 若上述素材出現(xiàn)侵權(quán)，請及時聯(lián)系我們刪除及進行處理：[email protected]
