昨天和阿里的推薦算法同學(xué)交流，聊到產(chǎn)品經(jīng)理在算法/大數(shù)據(jù)中發(fā)揮的角色，我們一致認為產(chǎn)品同學(xué)能幫忙確定產(chǎn)品指標(biāo)，這樣開發(fā)同學(xué)就可以專心把模型做好了。那么對于推薦產(chǎn)品，我們一般看哪些指標(biāo)呢？最近在做業(yè)務(wù)的過程中也有一些思考，正好周末整理一下，歡迎交流指教。
目前我們內(nèi)部?？吹闹笜?biāo)有兩類：場景轉(zhuǎn)化效果指標(biāo)和內(nèi)容消費滿意度指標(biāo)。其中，場景轉(zhuǎn)化類指標(biāo)，包括：pv點擊率、uv點擊率、曝光點擊率、uv轉(zhuǎn)化率、人均點擊個數(shù)；內(nèi)容消費滿意度指標(biāo)：留存率，停留時長、播放完成率等。
場景轉(zhuǎn)化類指標(biāo)
場景轉(zhuǎn)化類的指標(biāo)關(guān)注的是將用戶從一個場景轉(zhuǎn)化到我們希望的場景去的效果。這個過程需要用戶付出主動的行動，如常見的點擊行為。這類指標(biāo)關(guān)注推薦系統(tǒng)的漏斗效果，主要有：
1. pv點擊率（點擊量/pv）
pv點擊率是比較經(jīng)典的指標(biāo)，計算用戶每次進入頁面的點擊情況。pv點擊率能粗略衡量轉(zhuǎn)化效果，但是它的問題是容易受攻擊：少數(shù)用戶貢獻大量點擊會掩蓋在這個指標(biāo)后。
2. uv點擊率（點擊量/uv）
分母是整個產(chǎn)品的uv，而不是有點擊行為的uv。uv點擊率相對pv點擊率的優(yōu)勢在于，它不受用戶行為路徑影響（不受重復(fù)瀏覽某個產(chǎn)品的影響），能記錄用戶在一個完整session的點擊效果。據(jù)了解，阿里不少團隊的指標(biāo)也由pv點擊率改為uv點擊率了。
3. 曝光點擊率（點擊量/曝光次數(shù)）
曝光點擊率適合支持上拉/下拉翻頁的產(chǎn)品，比如Feed流。相比pv點擊率，曝光點擊率的分母隨用戶刷屏次數(shù)增加而變大，能更真實的記錄每一屏的轉(zhuǎn)化情況。
4. uv轉(zhuǎn)化率（點擊uv/進入uv）
與uv轉(zhuǎn)化率相對的是頁面的流失率。uv轉(zhuǎn)化率衡量對用戶的轉(zhuǎn)化情況，通過我們的產(chǎn)品設(shè)計能把多大比例的用戶從一個場景轉(zhuǎn)化到另一個我們希望的場景去。uv轉(zhuǎn)化率相對于前兩個指標(biāo)，更健壯，不易受到攻擊。
uv轉(zhuǎn)化率尤其適合衡量入口型產(chǎn)品，比如視頻app的首頁，如果用uv點擊率去衡量會不太科學(xué)，因為一般用戶在首頁點擊某個視頻后，會進入詳情頁深度消費，很少會返回首頁繼續(xù)消費。這個用戶已經(jīng)被轉(zhuǎn)化，但不再貢獻點擊，所以uv點擊率不合理，用uv轉(zhuǎn)化率就更加合理。
如果某頁面的uv轉(zhuǎn)化率較低，則表示大部分人對該頁面都不感興趣，遵循“不行就分”的簡單原則，這樣的頁面去掉可能對產(chǎn)品更好。
5. 人均點擊次數(shù)（點擊量/點擊uv）
人均點擊次數(shù)與uv轉(zhuǎn)化率相輔相成。uv轉(zhuǎn)化率表示頁面的消費寬度（吸引的用戶比例），而人均點擊次數(shù)表示頁面的消費深度（每個用戶消費的次數(shù)）。
內(nèi)容消費滿意度指標(biāo)
1. 留存率（x日后仍活躍的用戶數(shù)/x日前的用戶數(shù)）
留存率很重要，每家公司都很重視，但它很難作為算法的優(yōu)化指標(biāo)，因為時間周期長，變量會很多。比如計算視頻app首頁的7日留存率就十分艱難，因為當(dāng)中可能會上線大劇和熱門綜藝。雖然難以衡量，但留存率是產(chǎn)品技術(shù)團隊最重要的指標(biāo)：市場同學(xué)負責(zé)拉新用戶、產(chǎn)品技術(shù)團隊負責(zé)服務(wù)好用戶，把用戶留下來。
2. 停留時長
內(nèi)容消費型產(chǎn)品，點擊率很難反應(yīng)推薦的真正效果，把用戶“騙”進了希望的場景進行消費，但是發(fā)現(xiàn)真相的用戶轉(zhuǎn)身就走，這反而說明這個推薦是失敗的。所以需要引入停留時長來量化用戶消費效果。音視頻類的就對應(yīng)播放時長，YouTube的核心推薦指標(biāo)就是WatchTime。
3. 播放完成率（播放時長/視頻時長）
由于停留時長受視頻時長的錨定效應(yīng)影響，稍微長一點的視頻，即使用戶不感興趣，但是平均來說也會比短視頻要停留更長一些。因此，播放完成率指標(biāo)就能一定程度上去彌補這個問題，但是短視頻天然的播放完成率要比長視頻高，也是需要在看指標(biāo)時注意。
結(jié)語
一般來說，個性化推薦產(chǎn)品關(guān)注的指標(biāo)和其他產(chǎn)品并無本質(zhì)不同，只是推薦產(chǎn)品會涉及到大量的算法，而算法本身在離線階段也需要評測，算法評測指標(biāo)和產(chǎn)品指標(biāo)是兩個概念。
最后分享關(guān)于產(chǎn)品指標(biāo)需要注意的三點：
1. 不要迷戀算法指標(biāo)
算法指標(biāo)有準(zhǔn)確率、召回率、AUC值等，這些指標(biāo)表現(xiàn)好并不能說明產(chǎn)品表現(xiàn)好，因為選擇一個算法或者一個模型對于最終產(chǎn)品效果是否有幫助，本身就是存在一定假設(shè)，所以無論產(chǎn)品技術(shù)，不迷戀算法指標(biāo)是第一個要注意的。
2. 各個指標(biāo)都有局限性
每個產(chǎn)品指標(biāo)都有一定劣勢，也就是在某些方面無法體現(xiàn)出區(qū)分度來，前面列舉的指標(biāo)，每個指標(biāo)都存在無法反應(yīng)的情況。認清指標(biāo)的局限性這是第二個要注意的。
3. 指標(biāo)不宜過多
最后，產(chǎn)品指標(biāo)不宜過多，過多的指標(biāo)不利于最終優(yōu)化決策。本文所述的指標(biāo)，每個產(chǎn)品也需根據(jù)自身特點和業(yè)務(wù)需求選擇核心的幾個。如果真的要關(guān)注多個指標(biāo)，可以試著把這些直觀指標(biāo)再次綜合成一個更高階的指標(biāo)，從而減少關(guān)注的目標(biāo)，集中優(yōu)化精力，幫助決策。
作者：吳迎賓
文章來源：人人都是產(chǎn)品經(jīng)理
【轉(zhuǎn)載說明】 若上述素材出現(xiàn)侵權(quán)，請及時聯(lián)系我們刪除及進行處理：[email protected]
