筆者在過(guò)往的從業(yè)經(jīng)歷中，經(jīng)常體會(huì)到的一點(diǎn)就是，因?yàn)榉N種研究往往小公司進(jìn)行用戶(hù)研究的時(shí)候過(guò)于草率和缺乏方法，最后得出的結(jié)論并不具備代表性。雖然筆者也沒(méi)有進(jìn)行過(guò)專(zhuān)業(yè)訓(xùn)練，只是自學(xué)了一些統(tǒng)計(jì)學(xué)和用戶(hù)研究方法，但還是有些心得總結(jié)給到新人。

一、調(diào)查方式用對(duì)了么？

筆者供職于某社交平臺(tái)的時(shí)候，受命去某新區(qū)域拓荒，下飛機(jī)就接到了產(chǎn)品組的任務(wù)，要求測(cè)試該產(chǎn)品在該區(qū)域的網(wǎng)絡(luò)連接情況。面對(duì)這種問(wèn)題，筆者只能花了半天時(shí)間，盡量在不同網(wǎng)絡(luò)環(huán)境下，用自己的手機(jī)打開(kāi)APP，然后用秒表記錄APP各個(gè)模塊API的拉取時(shí)間。

雖然最后的結(jié)論確定是確實(shí)慢，延遲大。

但我的測(cè)試樣本并不具備代表性，

從地域上，我一直在該國(guó)首都測(cè)試，理論上大部分國(guó)家首都都是當(dāng)?shù)赝ㄐ艞l件最好的區(qū)域之一，并不代表其他區(qū)域的網(wǎng)絡(luò)狀況。

從網(wǎng)絡(luò)環(huán)境上，我雖然盡量測(cè)試了該國(guó)的所有運(yùn)營(yíng)商的電話(huà)卡，和好幾個(gè)公共WIFI，但都是在酒店、露天、餐廳等環(huán)境中測(cè)試的，潛在用戶(hù)自己家里的網(wǎng)絡(luò)環(huán)境是什么樣的呢？無(wú)從得知。

第三，測(cè)試設(shè)備是我自己帶的港版手機(jī)，其實(shí)和該國(guó)的網(wǎng)絡(luò)頻段并不完全重疊，并不具備代表性。其次，我只能用卡秒表的方式進(jìn)行觀測(cè)，本身就有誤差；再次，因?yàn)橛^測(cè)對(duì)象是返回的動(dòng)畫(huà)，所以卡頓完全沒(méi)法分清是手機(jī)性能卡頓還是網(wǎng)絡(luò)環(huán)境造成的卡頓。

在移動(dòng)互聯(lián)網(wǎng)時(shí)代，這種調(diào)查完全不應(yīng)該由前線人員操作，而是應(yīng)該產(chǎn)品本身部署firebase performance monitoring之類(lèi)的網(wǎng)絡(luò)探針直接由用戶(hù)端上報(bào)和業(yè)務(wù)服務(wù)器api接口通信時(shí)間來(lái)達(dá)成，這樣才能解決覆蓋的廣度和精確性問(wèn)題。

二、注意不回復(fù)問(wèn)卷的人

無(wú)反應(yīng)誤差是問(wèn)卷調(diào)查中特別容易出現(xiàn)的問(wèn)題，1989年美國(guó)達(dá)拉斯的調(diào)查員進(jìn)行了一個(gè)關(guān)于人們對(duì)于艾滋病看法的調(diào)查，被抽樣的個(gè)體被要求完成一份自填式問(wèn)卷，并由現(xiàn)場(chǎng)抽取血樣。這項(xiàng)研究取得了驚人的84%的響應(yīng)率：一些人可能認(rèn)為這個(gè)比率明顯表明高質(zhì)量。但為了確定是否存在非響應(yīng)偏差，研究人員回頭對(duì)非響應(yīng)者的隨機(jī)樣本進(jìn)行了再次調(diào)查，并成功讓其中一些人參與。

這一努力揭示，在最初的數(shù)據(jù)收集工作中，HIV風(fēng)險(xiǎn)行為 （如靜脈注射毒品和男男性行為） 的流行率被低估了。最初參與者中只有3%報(bào)告從事過(guò)靜脈注射毒品，而在后續(xù)參與者中這一比例為7%。同樣，最初參與者中只有約5%報(bào)告從事過(guò)男男性行為，而后續(xù)參與者中這一比例約為17%。

因?yàn)楫?dāng)時(shí)美國(guó)南方還是相對(duì)保守的，恐艾心理的作用下，有過(guò)高風(fēng)險(xiǎn)行為的人更傾向于不參加這個(gè)調(diào)查。

同樣的例子，如果將對(duì)于自己產(chǎn)品的調(diào)查問(wèn)卷放到banner位之類(lèi)的地方，你很難獲得負(fù)向反饋。因?yàn)椴幌矚g你產(chǎn)品的大多數(shù)人更喜歡直接卸載，離開(kāi)完事兒，你獲得的反饋更有可能來(lái)自于你的重度用戶(hù)。

三、樣本特性

筆者在負(fù)責(zé)語(yǔ)音房類(lèi)產(chǎn)品早期推廣的時(shí)候，剛上的Bigo ads渠道沒(méi)過(guò)幾天就受到了數(shù)據(jù)部門(mén)和運(yùn)營(yíng)部門(mén)質(zhì)疑，懷疑是流量造假，理由是新用戶(hù)注冊(cè)登錄率比FB/GG高了10%，但是最核心的次日留存和使用時(shí)長(zhǎng)都比FB/GG的表現(xiàn)差。

但這個(gè)時(shí)候只需要匯總兩個(gè)數(shù)據(jù)就能解答這個(gè)問(wèn)題，首先是往下拆分的運(yùn)營(yíng)數(shù)據(jù)里，Bigo ads渠道首日注冊(cè)的進(jìn)房率、上Mic率、公屏聊天率都是高于其他渠道的，結(jié)合前面的注冊(cè)登錄率偏高，說(shuō)明活躍度很高。

詢(xún)問(wèn)bigo的am， 該平臺(tái)歷史上的產(chǎn)品廣告消耗占比，視頻直播/語(yǔ)音房等泛社交產(chǎn)品在當(dāng)時(shí)超過(guò)了7成。

同時(shí)邏輯上，我們當(dāng)時(shí)因?yàn)閯傞_(kāi)始推廣測(cè)試，日均消耗不過(guò)200、300美金，廣告平臺(tái)犯不著為了這點(diǎn)小錢(qián)專(zhuān)門(mén)為我們這個(gè)產(chǎn)品設(shè)計(jì)一套作弊方案，甚至連上Mic和公屏打字都模擬出來(lái)。

那么答案呼之欲出，因?yàn)锽igo本身就是泛社交平臺(tái)出身，所以他們廣告平臺(tái)上吸引的客戶(hù)也大多是同類(lèi)客戶(hù)，但是Bigo ads畢竟是小平臺(tái)，覆蓋的人群有限，廣告庫(kù)存有限。所以會(huì)用語(yǔ)音房產(chǎn)品的用戶(hù)都已經(jīng)經(jīng)歷過(guò)多款不同產(chǎn)品的洗禮了，且語(yǔ)音房平臺(tái)本來(lái)產(chǎn)品設(shè)計(jì)同質(zhì)化就嚴(yán)重。所以對(duì)于bigo ads的受眾而言，今天無(wú)非又多了一個(gè)新語(yǔ)音房可以玩，這些老司機(jī)駕輕熟路的注冊(cè)登陸，上mic，聊天，發(fā)現(xiàn)這個(gè)早期產(chǎn)品也沒(méi)什么和別的不一樣的賣(mài)點(diǎn)，于是直接卸載走人。這就造成了首日活躍行為很強(qiáng)，但是時(shí)長(zhǎng)、留存均不理想的情況。

同樣的情況，筆者在很多工具產(chǎn)品上也觀察到過(guò)，雖然可能以Android和iOS用戶(hù)進(jìn)行整體對(duì)比，發(fā)現(xiàn)用戶(hù)各項(xiàng)數(shù)據(jù)相差較大的情況。但如果我們拆出高端Android手機(jī)，比如三星S系列旗艦機(jī)，用戶(hù)行為就會(huì)和iOS用戶(hù)很相似，因?yàn)檫@兩款產(chǎn)品本身就互為競(jìng)品，在很多國(guó)家這兩個(gè)系列用戶(hù)間的特征差別僅僅只是操作系統(tǒng)偏好。

四、問(wèn)卷設(shè)計(jì)是門(mén)科學(xué)和技術(shù)

設(shè)計(jì)一份合理的問(wèn)卷是很難，很多用戶(hù)研究專(zhuān)家一輩子可能最大的成就就是設(shè)計(jì)出一套經(jīng)典問(wèn)卷。

首先是人類(lèi)本來(lái)的特性：比如你有一款泛受眾產(chǎn)品，你在街上隨機(jī)詢(xún)問(wèn)路人產(chǎn)品體驗(yàn)大概率只會(huì)得到正回饋，第一，他可能正有事情做，想要快速結(jié)束對(duì)話(huà) （這種情況只能察言觀色的時(shí)候不把對(duì)方的回答視為有效） 。第二，除了少部分反社會(huì)人格，人類(lèi)通常，特別是對(duì)陌生人，在不損害自己利益的情況下，給予褒揚(yáng)。人群總體會(huì)傾向于給你面子，給你的產(chǎn)品更高的反饋。

其次，響應(yīng)式謬誤，和前面達(dá)拉斯對(duì)于HIV的調(diào)查相反，人類(lèi)對(duì)于很多問(wèn)題會(huì)積極給予錯(cuò)誤的響應(yīng)。

最近的知名例子就是總統(tǒng)選舉前川普的支持率是遠(yuǎn)遠(yuǎn)被低估的，因?yàn)镸AGA運(yùn)動(dòng)的排外反移民傾向，在有移民傳統(tǒng)的美國(guó)是非常政治不正確的，很多川普的支持者都是沉默選民，并不會(huì)公開(kāi)表達(dá)自己的政治傾向，但會(huì)真的投出那一票。

筆者遇到的例子是，筆者曾經(jīng)做過(guò)一個(gè)外出打工青年和家里長(zhǎng)輩互聯(lián)網(wǎng)互動(dòng)行為的調(diào)查。其中需要一個(gè)參數(shù)來(lái)判斷該青年和家庭的親密度，但我直接問(wèn)“你和你家里人關(guān)系好么？”是個(gè)完全沒(méi)有用的偽響應(yīng)，因?yàn)槲覀儢|亞儒家文明里，“關(guān)系不好”很大程度上等于不孝順，而孝這個(gè)概念在傳統(tǒng)道德里是個(gè)絕大的政治正確，特別是在這些青年出身的農(nóng)村地區(qū)。

所以筆者換成了，“你父母生日是哪年幾月幾號(hào)？”（ 還好那個(gè)時(shí)候電詐還不猖獗，不然也是無(wú)效問(wèn)題） ，“你多久跟家里聯(lián)系一次”“上次跟家里人聯(lián)系是什么時(shí)候”，這三個(gè)問(wèn)題，側(cè)面計(jì)算和家里的親密度。

本文來(lái)自微信公眾號(hào)： 老海盜的小酒館 ，作者：老海盜