如何確定你的用研樣本量和數(shù)據(jù)

在這篇文章中,本文作者將推薦一個(gè)公式來(lái)確定用戶研究中的定性樣本量,且探討如何收集和分析數(shù)據(jù),以實(shí)現(xiàn)“數(shù)據(jù)飽和”,最終將提供一個(gè)側(cè)重本文觀點(diǎn)的案例研究。
Jen正在向一個(gè)運(yùn)營(yíng)電商網(wǎng)站的客戶展示她的調(diào)研報(bào)告。她在12個(gè)潛在用戶中進(jìn)行了訪談,目標(biāo)是了解用戶會(huì)在什么樣的條件下選擇線上購(gòu)物或線下購(gòu)物??蛻粼儐朖en,她只與12個(gè)人進(jìn)行了交談,為什么他們應(yīng)該相信她的調(diào)研結(jié)果。Jen向她的客戶解釋了她的工作流程,分享了她是如何決定樣本量的,以及如何通過數(shù)據(jù)飽和的角度來(lái)收集分析她的數(shù)據(jù)??蛻粲X得Jen的解釋言之鑿鑿,讓她繼續(xù)了她的展示。
序言
用戶研究員必須能確定他們的研究的樣本量??蛻?、同事和投資人想要了解他們是否能相信研究結(jié)果的推薦方案。樣本人口組成和數(shù)量是他們建立信任的基礎(chǔ)。你是否訪談了對(duì)的人?你是否訪談了足夠多的人?研究員還必須知道如何處理他們收集到的數(shù)據(jù)。如果你沒有提出好的問題和進(jìn)行深思熟慮的分析,你的樣本量將不起作用。
定量研究手段(如問卷調(diào)查)為決定樣本量帶來(lái)了有效的統(tǒng)計(jì)技術(shù)。它是建立在你調(diào)研的人口量和調(diào)研期望結(jié)果的可信度之上的。許多利益相關(guān)者對(duì)定量研究方法和諸如“統(tǒng)計(jì)學(xué)意義”的術(shù)語(yǔ)相當(dāng)熟悉。這些利益相關(guān)者傾向于將這個(gè)認(rèn)知搬運(yùn)到所有調(diào)研項(xiàng)目中,而且因此希望在不同的研究項(xiàng)目中也聽到類似熟悉的術(shù)語(yǔ)和熟悉的樣本量。
而定性研究人員需要為利益相關(guān)者設(shè)置一個(gè)背景。定性研究手段(如訪談)目前沒有普適的技術(shù)。盡管如此,這里你可以采取幾個(gè)步驟來(lái)保證你采集到和分析了正確數(shù)量的數(shù)據(jù)。
在這篇文章中,我將推薦一個(gè)公式來(lái)確定用戶研究中的定性樣本量。我也將探討如何收集和分析數(shù)據(jù),以實(shí)現(xiàn)“數(shù)據(jù)飽和”。最終,我將提供一個(gè)側(cè)重本文觀點(diǎn)的案例研究。
(Image credit:?Brandon Sax) (View large version)
定性研究的樣本量
作為調(diào)研人員,或與調(diào)研人員一起工作的同組成員,我們需要了解和向他人傳達(dá)為什么我們選擇了某個(gè)特定的樣本量。
我先告訴你一個(gè)壞消息。在為定性研究決定一個(gè)確切的樣本量的問題上,我們并沒有一個(gè)被廣泛認(rèn)同的公式。任何人都說(shuō)其他人是錯(cuò)的。但我們擁有的是——?以學(xué)術(shù)研究先例為基礎(chǔ)的一些建議方針。我曾參與過僅僅訪談了少于10人的項(xiàng)目,也曾參與過訪談了許多人的項(xiàng)目。Jakob Nielson建議可用性測(cè)試的樣本量為5個(gè)。然而,他增加了一些限定詞,這個(gè)建議僅僅適用于可用性測(cè)試研究,不包括探索訪談、情境調(diào)查或其他在調(diào)研初始階段廣泛使用的定性研究方法。
那么,我們應(yīng)該如何決定一個(gè)定性研究的樣本量?我們需要了解我們的調(diào)研目的。我們實(shí)施定性研究來(lái)獲取某個(gè)事物(一個(gè)活動(dòng)、問題、難題或解決方案)的深度理解。這與定量研究是不同的,定量研究的目的是量化或測(cè)量某個(gè)事物的存在。定量研究通常提供的是對(duì)某個(gè)事件的淺層且寬泛的視野。
你可以在滾動(dòng)的基礎(chǔ)上去決定你的定性研究的樣本量。也可以在調(diào)研前就先闡明樣本量。
如果你是一個(gè)長(zhǎng)達(dá)數(shù)年項(xiàng)目的學(xué)術(shù)研究員,或者你擁有大量的預(yù)算和很長(zhǎng)的時(shí)間線,建議你采用滾動(dòng)樣本。你將從預(yù)先設(shè)定好數(shù)量的受訪者中收集數(shù)據(jù),在此同時(shí),分析這些數(shù)據(jù)然后決定是否需要繼續(xù)收集更多的數(shù)據(jù)。這個(gè)方法能為你的發(fā)現(xiàn)帶來(lái)了大量的數(shù)據(jù)和更真實(shí)的證據(jù)。你將對(duì)你想要去定位的問題擁有更深層和更廣闊的視野。到你已經(jīng)不再需要繼續(xù)收集數(shù)據(jù)時(shí),數(shù)據(jù)收集終止。這樣一來(lái),你可能會(huì)最終得到一個(gè)更大的樣本量。
大多數(shù)客戶或項(xiàng)目需要你闡明一個(gè)預(yù)先決定好的樣本量。事實(shí)上,預(yù)算和時(shí)間通常決定了樣本的大小。如果你的項(xiàng)目期望在8-10周的時(shí)間里完成調(diào)研-設(shè)計(jì)-開發(fā)工作,你將不會(huì)有足夠的時(shí)間來(lái)訪問50個(gè)人并且對(duì)數(shù)據(jù)做嚴(yán)謹(jǐn)?shù)姆治?。一個(gè)10到12的樣本量可能對(duì)于這樣的項(xiàng)目來(lái)說(shuō)更加現(xiàn)實(shí)。從調(diào)研開始到分析完畢,你只擁有2周的時(shí)間。當(dāng)你耗盡了你的調(diào)研資源時(shí),調(diào)研將終止。但我們的客戶和同行想要我們根據(jù)這個(gè)數(shù)據(jù)給出一個(gè)有影響力的推薦方案。
你對(duì)滾動(dòng)或先決樣本量的使用將決定你如何解釋為什么你終止了數(shù)據(jù)收集。對(duì)于滾動(dòng)樣本,你可以說(shuō):“我們?cè)诜治鲋螅l(fā)現(xiàn)收集更多的數(shù)據(jù)將不再出現(xiàn)有價(jià)值的樣本,因此終止了數(shù)據(jù)收集?!?如果你使用了先決樣本量,你可以說(shuō):“在訪談了我們預(yù)先決定的數(shù)量的受訪者之后,我們停止了數(shù)據(jù)收集,并對(duì)收集來(lái)的數(shù)據(jù)進(jìn)行了充分的分析?!?/p>
我們使用先決樣本量的時(shí)候依然能維持一個(gè)嚴(yán)謹(jǐn)?shù)牧鞒蹋陌l(fā)現(xiàn)依然是有效的。數(shù)據(jù)飽和幫助我們確保了這個(gè)結(jié)果。在使用先決樣本時(shí),為了闡明你已經(jīng)盡職地完成了確定樣本量的調(diào)查和達(dá)到數(shù)據(jù)飽和,你需要完成這3個(gè)步驟:
- 在有意義的基礎(chǔ)上去決定樣本量;
- 達(dá)到數(shù)據(jù)收集的飽和;
- 達(dá)到數(shù)據(jù)分析的飽和。
在接下來(lái)的篇幅將涵蓋每一個(gè)步驟的細(xì)節(jié)。
決定樣本量:從方針到公式
市場(chǎng)調(diào)研公司Research by Design的Donna Bonde提供了調(diào)研基礎(chǔ)方針(市場(chǎng)定性調(diào)研:When enough is enough)來(lái)幫助人們提前決定定性研究的樣本量。Bonde回顧了無(wú)數(shù)的市場(chǎng)調(diào)查研究來(lái)確定不同研究中樣本量的一致關(guān)鍵因素。Bonde認(rèn)為這個(gè)方針不應(yīng)該是一條公式,它應(yīng)是影響定性樣本量的各個(gè)因素。這個(gè)方針是針對(duì)于市場(chǎng)調(diào)查的,所以我對(duì)它們加以修改來(lái)適應(yīng)用戶研究員的需求。我也將相關(guān)的因素組織成了一條公式。這將幫助你確定和辨證一個(gè)樣本量,且增加達(dá)到飽和的可能性。
定性樣本量公式
基于我對(duì)Research by Design的方針的翻譯,決定樣本量的公式如下:
樣本量[N]?=(范圍[S]?× 特征[C]?)÷ 專業(yè)程度[E]?+ / – 資源[R]
關(guān)于這個(gè)決定你定性樣本量的公式,這里有其四個(gè)要點(diǎn)的描述和例子。
1. 調(diào)查的范圍
你需要考慮你在試圖完成什么東西。在考慮樣本量時(shí),這是最重要的因素。你是否打算從頭開始設(shè)計(jì)一個(gè)解決方案?或者你是否打算定義一個(gè)提升現(xiàn)有產(chǎn)品可用性的小節(jié)點(diǎn)?如果你打算創(chuàng)造一個(gè)全新的體驗(yàn),你應(yīng)該最大化你的調(diào)研對(duì)象。如果你試圖定義你應(yīng)用中的付款流程有什么潛在的困難,那么你只需要更少的調(diào)研對(duì)象。
數(shù)字上,這個(gè)范圍可以是1到無(wú)限中的任一個(gè)數(shù)字。0指的是沒有調(diào)研,這是違反用戶體驗(yàn)設(shè)計(jì)的原則的。下一步你需要將范圍乘以每個(gè)用戶類型再×3(譯者注:下文會(huì)解釋為什么還要乘以3)。因此,這個(gè)范圍只要比1還大,將大大地增加你的樣本量。范圍可以理解成你想如何應(yīng)用你的結(jié)果。我推薦使用下面的值來(lái)填入范圍(scope)中:
- 針對(duì)現(xiàn)有產(chǎn)品的調(diào)研(比如,可用性測(cè)試,定義新功能,或研究現(xiàn)有的狀況);
- 創(chuàng)造新產(chǎn)品(比如,一個(gè)收納了所有你的員工所使用軟件的新門戶網(wǎng)站);
- 超越產(chǎn)品之外范疇(比如,在一個(gè)研究刊物刊登你的研究成果或宣布一個(gè)新的設(shè)計(jì)流程)。
你的樣本量應(yīng)該隨著你的范圍的增加而增加。(Image:?Brandon Sax) (View large version)
我給出的調(diào)研范圍的方針保證了你的樣本量跟一些學(xué)術(shù)研究員建議的量是有可比性的。學(xué)者John Creswell建議的方針是,調(diào)研范圍可以少到如案例研究(如你的現(xiàn)有產(chǎn)品)中的5個(gè)人,也可以多到如推出一個(gè)新理論(比如,超越產(chǎn)品之外范疇)的20人以上。我們不反對(duì)Creswell的建議,因?yàn)楫?dāng)你表明你使用了一個(gè)公式來(lái)決定樣本量時(shí),你將造成一個(gè)更強(qiáng)烈的爭(zhēng)議,同時(shí)也表現(xiàn)出了對(duì)之更好的理解。另外,學(xué)者們?cè)诰唧w樣本量的使用上也很難達(dá)成一致,Creswell說(shuō)道。
2. 研究的人口特征
隨著你調(diào)研人口的多元增加,你的樣本量也應(yīng)隨之增加。你將需要每個(gè)不同人物畫像的多種代表或用戶類型。我推薦每種用戶類型至少有3個(gè)受訪者。這允許我們對(duì)每個(gè)用戶類型的用戶體驗(yàn)有一個(gè)更深層次的探索。
我們假設(shè)你現(xiàn)在正在設(shè)計(jì)一個(gè)應(yīng)用,這個(gè)應(yīng)用能讓制造業(yè)公司輸入和追蹤供貨從倉(cāng)庫(kù)到工廠的訂單、運(yùn)輸信息。你應(yīng)該采訪這個(gè)流程中的許多人:倉(cāng)庫(kù)基層員工、辦公室職員、從倉(cāng)庫(kù)到工廠的采購(gòu)員、經(jīng)理等等。如果你僅僅只是對(duì)這個(gè)APP的貨運(yùn)追蹤功能的界面進(jìn)行重新設(shè)計(jì),那么你應(yīng)該采訪那些關(guān)注這個(gè)應(yīng)用的追蹤頁(yè)面的人:倉(cāng)庫(kù)和工廠的辦公室職員。
數(shù)字上,特征(C)=P × 3,在這里,P等于你已經(jīng)確定的用戶類型。3個(gè)用戶類型決定了C=9。
3. 研究人員的專業(yè)程度
有經(jīng)驗(yàn)的研究員比經(jīng)驗(yàn)不足的研究員更能從小的樣本量中挖掘更多的信息。定性研究員用與定量研究員不同的方式,將他們自身投入到數(shù)據(jù)收集的工序中。在問卷調(diào)查中,你無(wú)法根據(jù)無(wú)法預(yù)知的相關(guān)話題來(lái)改變你的問題大綱。但在定性研究中,你能根據(jù)受訪者的實(shí)時(shí)反饋來(lái)調(diào)整你的訪問大綱。有經(jīng)驗(yàn)的研究員將根據(jù)受訪者的回應(yīng)生成更多更高質(zhì)量的數(shù)據(jù)。一個(gè)有經(jīng)驗(yàn)的研究員知道如何、何時(shí)根據(jù)受訪者的回應(yīng)進(jìn)行深度挖掘。有經(jīng)驗(yàn)的研究員帶來(lái)的歷史經(jīng)驗(yàn)?zāi)転閿?shù)據(jù)分析增加洞察力。
數(shù)字上,專業(yè)程度(E)能從1到無(wú)限。現(xiàn)實(shí)中,這個(gè)范圍應(yīng)該在1到2 。例如,一個(gè)沒有經(jīng)驗(yàn)的研究員應(yīng)該值1,因?yàn)樗麄儗⑿枰暾臉颖玖?,且隨著項(xiàng)目的推進(jìn),他們也隨之獲得經(jīng)驗(yàn)。采用數(shù)值2時(shí)你的樣本量將減半(在公式中),這也是最極端的。我推薦每增加5年工作經(jīng)驗(yàn),這個(gè)值就增加0.1,例如5年經(jīng)驗(yàn)的研究員應(yīng)該讓你的公式中的專業(yè)程度(E)=1.10。
專業(yè)能力能加快調(diào)研的進(jìn)度以及減少用研所需的樣本量。 (Image:?Brandon Sax) (View large version)
4. 資源
一個(gè)不幸的事實(shí)是,在決定樣本量時(shí),你不得不將預(yù)算和時(shí)間約束考慮在內(nèi)。隨著你的樣本量的增加,你要么需要增加時(shí)間,要么增加這個(gè)項(xiàng)目的研究員數(shù)量。大多數(shù)的客戶和項(xiàng)目要求你確定好預(yù)期的調(diào)研對(duì)象數(shù)。時(shí)間和資金也將受這個(gè)數(shù)字的影響。你需要預(yù)算時(shí)間來(lái)招募調(diào)研對(duì)象和分析數(shù)據(jù)。同時(shí),為了完成你的職責(zé),設(shè)計(jì)和開發(fā)的需求你也得考慮在內(nèi)。如果你的研究結(jié)果跟他人提出來(lái)的結(jié)論沒什么兩樣,同行也會(huì)覺得你的調(diào)研發(fā)現(xiàn)沒有什么價(jià)值。在團(tuán)隊(duì)急需用研結(jié)果的時(shí)候,相較于一個(gè)需要拖很長(zhǎng)時(shí)間才能出結(jié)果的樣本量,我推薦縮小樣本量來(lái)及時(shí)獲取信息。
數(shù)字上,資源的值可以是N-1或N+1或更多(N為預(yù)期的樣本量)。你將基于成本和招募受訪者、實(shí)施調(diào)研和數(shù)據(jù)分析所需的時(shí)間來(lái)決定你的資源。在之前的嘗試中,你可能有了一個(gè)具體的數(shù)字。打個(gè)比方,你可能知道采用一個(gè)招募服務(wù)需要花費(fèi)大概15,000美元,其中包括租用2天的設(shè)施以及15個(gè)受訪者1個(gè)小時(shí)的訪談費(fèi)用。你也知道招募服務(wù)需要至多3周的時(shí)間幫你找到你需要的樣本,這取決于你的研究的復(fù)雜程度。在另一方面,你可能可以通過你的客戶找到他們的現(xiàn)有用戶,這樣招募來(lái)的研究對(duì)象不需要花費(fèi)額外的費(fèi)用。但是,如果你不能快速找到他們或者潛在受訪者短期內(nèi)沒空,這會(huì)讓整個(gè)調(diào)研流程拖更多的時(shí)間。
你需要將獲取樣本所需要的時(shí)間和資源做一個(gè)預(yù)算,或者相應(yīng)地減少你的樣本量。因?yàn)檫@就是生活中的現(xiàn)實(shí),我建議你事先把這些事情考慮好。跟你的老板或客戶說(shuō),“我們?cè)谶@個(gè)項(xiàng)目中想要跟15個(gè)用戶進(jìn)行交談。但是我們的預(yù)算和時(shí)間只允許10個(gè)人。請(qǐng)?jiān)谀玫秸{(diào)研結(jié)果的時(shí)候考慮到這一點(diǎn)?!?/p>
公式使用的例子
讓我們假設(shè)你現(xiàn)在正在研究評(píng)估一個(gè)需求:為一個(gè)中等大小的客戶的客服中心職員創(chuàng)建一個(gè)門戶網(wǎng)站,職員們可以通過它訪問他們平時(shí)用來(lái)工作的應(yīng)用。你想要算出這個(gè)調(diào)研需要多少個(gè)受訪者參與。你的客戶闡述說(shuō),這里有3個(gè)基本的用戶類型:基層員工,經(jīng)理,管理者。從調(diào)研到門戶網(wǎng)站的設(shè)計(jì)概念展示再到運(yùn)作原型和流程圖,你有一個(gè)健康的預(yù)算和總共10周的時(shí)間。你是一個(gè)有11年經(jīng)驗(yàn)的研究員。
你決定用研樣本量的公式如下:
范圍(S):創(chuàng)建一個(gè)新的門戶網(wǎng)站,范圍(S)= 2 ;
特征(C):3個(gè)用戶類型,特征(C)= 3 × 3 =9;
專業(yè)程度(E):11年經(jīng)驗(yàn),專業(yè)程度(E)=1.20;
資源(R):充裕,資源(R)=0;
我們的公式是 ( (?S × C ) / E )?+R
故,( ( 2 × 9 ) / 1.2 ) + 0 = 15,這個(gè)調(diào)研需要15受訪者。
數(shù)據(jù)飽和
數(shù)據(jù)飽和是來(lái)源于學(xué)術(shù)調(diào)研的一個(gè)概念。學(xué)者們對(duì)飽和的定義也是各執(zhí)己見。最基礎(chǔ)的理念是獲取足夠的數(shù)據(jù)來(lái)支持你所做的決定,然后窮盡你所需要分析的數(shù)據(jù)。為了創(chuàng)造一個(gè)有意義的問題和推薦你已經(jīng)詳盡無(wú)疑的數(shù)據(jù)分析,你需要獲取足夠多的數(shù)據(jù)。達(dá)到數(shù)據(jù)飽和取決于你具體的數(shù)據(jù)收集手段。訪談通常被用來(lái)做為最能保證達(dá)到數(shù)據(jù)飽和的研究手段。
研究人員通常不單獨(dú)使用樣本量作為評(píng)估飽和的標(biāo)準(zhǔn)。我支持其中一個(gè)雙管齊下的定義:數(shù)據(jù)收集的飽和與數(shù)據(jù)分析的飽和。在研究當(dāng)中,你需要滿足兩者的飽和。你也需要在進(jìn)行數(shù)據(jù)收集和分析的同時(shí),了解你在調(diào)研結(jié)束前是否已經(jīng)達(dá)到飽和。
數(shù)據(jù)收集的飽和
你會(huì)收集足夠多的有意義數(shù)據(jù)來(lái)確定關(guān)鍵的問題及作出相應(yīng)推薦方案。一旦你提煉了你的數(shù)據(jù)并確定了主要的問題,你是否擁有了可行的解決方案?如果有,那么你應(yīng)該對(duì)你發(fā)現(xiàn)的東西感到滿意。如果你無(wú)法確定主要的問題或受訪者幾乎都有不同的用戶體驗(yàn),那么你需要收集更多的數(shù)據(jù)?;蛘呷绻谀硞€(gè)訪談中出現(xiàn)了一些獨(dú)有的事件,你可能會(huì)增加一些訪談來(lái)探索這個(gè)概念。
你可以通過收集豐富的數(shù)據(jù)來(lái)達(dá)到數(shù)據(jù)飽和。豐富的數(shù)據(jù)為你正在調(diào)查的問題提供了深度的洞察力。豐富的數(shù)據(jù)是良好的訪談問題、隨訪提示和經(jīng)驗(yàn)老道的研究員的產(chǎn)出物?;跀?shù)據(jù)收集的質(zhì)量而非樣本量,可以讓你收集到豐富的數(shù)據(jù)。訪談一個(gè)3人樣本,人均1小時(shí),與訪談一個(gè)6人的樣本,人均30分鐘,前者更可能獲取到更好的數(shù)據(jù)。你需要打磨你的問題來(lái)收集豐富的數(shù)據(jù)。當(dāng)你創(chuàng)建了一個(gè)問題大綱時(shí),讓他人幫你優(yōu)化和提供反饋,并且事先演練一下數(shù)據(jù)收集,這樣可以幫助你收集到豐富的數(shù)據(jù)。
你或許會(huì)將調(diào)研對(duì)象限制在特定類型的受訪者當(dāng)中。這樣能減少擴(kuò)大樣本來(lái)達(dá)到數(shù)據(jù)收集飽和的需要。
舉個(gè)例子,假設(shè)你想要了解近期人們?cè)谑裁辞樾蜗聲?huì)切換使用銀行。你是否找到了區(qū)分這個(gè)人群的關(guān)鍵特征?或許是有些用戶之前使用的銀行收費(fèi)太多,讓他們覺得惱火,因而更換了一個(gè)體驗(yàn)有巨大區(qū)別的銀行。
你是否跟許多滿足各個(gè)用戶類型的人交談過?不同用戶類型之間的體驗(yàn)是否有共同點(diǎn)?或者你是否需要對(duì)某一個(gè)用戶類型或不同用戶類型之間進(jìn)行更深層次的研究。
如果你僅僅訪談了一個(gè)滿足換用銀行這樣一個(gè)類型描述的用戶,那么你需要擴(kuò)大你的樣本,跟更多該用戶類型的人進(jìn)行交談。或許你會(huì)對(duì)僅有一個(gè)用戶類型與當(dāng)前項(xiàng)目相關(guān)提出異議。但這樣其實(shí)可以讓你把注意力集中在一個(gè)用戶類型上,進(jìn)而減少達(dá)到數(shù)據(jù)收集飽和所需要的受訪者數(shù)量。
數(shù)據(jù)收集飽和的案例
假設(shè)你已經(jīng)決定好你的銀行調(diào)研項(xiàng)目需要一個(gè)15人的樣本。
你創(chuàng)建好了訪問提綱,然后將焦點(diǎn)放在過去的五年內(nèi)你的受訪者跟銀行之間有怎樣的體驗(yàn)上,不管是親身體驗(yàn)還是在線體驗(yàn)。在每個(gè)受訪者身上你花了1小時(shí)進(jìn)行訪問,細(xì)致入微地問盡了你的問題線索和隨訪提示。
你同時(shí)收集和分析了數(shù)據(jù)。在12個(gè)訪談過后,你發(fā)現(xiàn)在你的數(shù)據(jù)里呈現(xiàn)出了下面幾個(gè)關(guān)鍵問題:
- 用戶覺得銀行缺乏透明度;
- 用戶擁有一個(gè)糟糕的初次使用體驗(yàn);
- 用戶更迫切地想要去一個(gè)能感受到個(gè)人聯(lián)系的銀行。
你的團(tuán)隊(duì)聚在一起討論主要問題以及探討如何將之應(yīng)用到你們的工作當(dāng)中。團(tuán)隊(duì)最終決定創(chuàng)造一個(gè)基于Web的初次使用體驗(yàn),促使銀行賬戶收費(fèi)方式透明化,這個(gè)概念旨在向用戶說(shuō)明你的客戶是如何允許用戶分享個(gè)人銀行體驗(yàn)及邀請(qǐng)他人的。這些都是你的受訪者所說(shuō),在開戶體驗(yàn)上缺失的主要方面。
你已經(jīng)達(dá)到了兩個(gè)所需的飽和之一:收集了足夠有意義的信息來(lái)定義主要問題和做出推薦方案。你從調(diào)研結(jié)果中有了一個(gè)可行的解決方案:建立一個(gè)強(qiáng)調(diào)透明化和個(gè)人聯(lián)系的初次使用體驗(yàn)。而且它僅僅在你訪談了12個(gè)受訪者后就得到了。你完成了剩下的3個(gè)訪談來(lái)驗(yàn)證你已經(jīng)了解到的東西,并為下一部分的“飽和”儲(chǔ)存了更多數(shù)據(jù)。
數(shù)據(jù)分析的飽和
你細(xì)致入微地分析了收集到的數(shù)據(jù)來(lái)達(dá)到數(shù)據(jù)分析的飽和。不管樣本量是1還是100,這意味著你已經(jīng)用功地完成了你分析數(shù)據(jù)的職責(zé)。你能通過許多方式分析定性數(shù)據(jù)。有些取決于你采用的具體數(shù)據(jù)收集手段。
你需要對(duì)你的數(shù)據(jù)進(jìn)行提煉(【譯注】data coding:定性研究中將收集到的信息整理、歸納、分類、概括的數(shù)據(jù)分析方法。)。你可以歸納性地提煉(基于數(shù)據(jù)顯示的信息),或者演繹性地提煉(預(yù)先決定好的提煉方式),試圖確定數(shù)據(jù)中有意義的問題和要點(diǎn)。當(dāng)你完成了所有數(shù)據(jù)的提煉和根據(jù)提煉的數(shù)據(jù)確定了問題時(shí),你就讓數(shù)據(jù)分析飽和了。這也是研究員的經(jīng)驗(yàn)發(fā)揮作用的地方了。經(jīng)驗(yàn)會(huì)幫助你更快地確定和提煉有意義的問題,然后將他們轉(zhuǎn)化成可行的推薦方案。
你無(wú)法在缺少縝密數(shù)據(jù)分析的前提下達(dá)到數(shù)據(jù)飽和。(Image:?Brandon Sax) (View large version)
回到我們的銀行案例,你向你的客戶展示了你的發(fā)現(xiàn),并且提出了一個(gè)初次使用的體驗(yàn)方案??蛻艉芟矚g這個(gè)想法,但是也提出關(guān)于缺乏透明度這個(gè)問題可能還有很多信息沒有揭露出來(lái)。他們建議你找多幾個(gè)人對(duì)這個(gè)具體的問題進(jìn)行訪談。
在你同意訪談更多的人之前,你叫來(lái)了其他研究員來(lái)回顧你的數(shù)據(jù)。這個(gè)研究員發(fā)現(xiàn)在透明度問題中存在一些異?,F(xiàn)象,他指出,目前根據(jù)數(shù)據(jù)的提煉結(jié)果并沒有涵蓋:“有些用戶認(rèn)為銀行在費(fèi)用和服務(wù)上缺乏透明度。而另外有用戶提及說(shuō)銀行在客戶信息的儲(chǔ)存和使用上缺乏透明度。” 最初,你僅僅歸納出了費(fèi)用方面的透明度缺失。增加“一雙眼睛”來(lái)回顧你的數(shù)據(jù)能讓你達(dá)到分析的飽和。你的設(shè)計(jì)師開始在初次使用體驗(yàn)和整體體驗(yàn)上處理這個(gè)異常情況。他們強(qiáng)調(diào)了銀行的隱私和數(shù)據(jù)安全政策。
你跟你的客戶探討并建議不再繼續(xù)更多的訪談了。當(dāng)你回顧了數(shù)據(jù)然后采取了額外的數(shù)據(jù)提煉,你就能達(dá)到數(shù)據(jù)分析的飽和了。不需要額外的訪談。
樣本量公式和數(shù)據(jù)飽和案例研究
讓我們來(lái)看看一個(gè)涉及到本文概念的案例研究。
假設(shè)我們跟客戶一起進(jìn)行他們的臨床數(shù)據(jù)管理應(yīng)用的概念化重設(shè)計(jì)。研究人員用臨床數(shù)據(jù)管理應(yīng)用來(lái)收集和儲(chǔ)存臨床試驗(yàn)的數(shù)據(jù)。臨床試驗(yàn)是關(guān)于新藥物療程的效用測(cè)試的研究??蛻粝胍覀兇_定產(chǎn)品設(shè)計(jì)上有什么提升的空間,以及提高產(chǎn)品的使用和可靠性。我們將在提出設(shè)計(jì)概念前先實(shí)施訪談。
樣本量的飽和
基于本文中的公式,我們要了12個(gè)訪談的受訪者。下面展示的是我們是如何決定公式中每個(gè)變量的值的。
范圍:我們被指派了提供一個(gè)現(xiàn)有產(chǎn)品的設(shè)計(jì)概念的調(diào)查報(bào)告的任務(wù)。這個(gè)項(xiàng)目沒有太大的范圍。我們不會(huì)發(fā)明一個(gè)新的方式來(lái)收集臨床數(shù)據(jù),相反,我們僅僅只是在優(yōu)化現(xiàn)有的工具。更小的范圍確定了更小的樣本量。
范圍(S)= 1
特征(C):我們的客戶確定了3個(gè)具體的用戶類型:
- 研究設(shè)計(jì)員:掌管系統(tǒng)中研究項(xiàng)目建設(shè)的用戶;
- 數(shù)據(jù)收集員:從患者收集數(shù)據(jù)和將數(shù)據(jù)錄入系統(tǒng)的用戶;
- 研究管理員:掌管項(xiàng)目中的數(shù)據(jù)收集和報(bào)告的用戶。
特征(C)= 3×3用戶類型 = 9
專業(yè)程度:讓我們假設(shè)我們的主調(diào)研員擁有10年的調(diào)研經(jīng)驗(yàn)。我們的隊(duì)伍擁有類似項(xiàng)目的經(jīng)驗(yàn)。我們清楚地知道我們需要多少數(shù)據(jù),也知我們道想從12個(gè)受訪者中了解到什么。
專業(yè)程度(E)= 1.20
在這個(gè)點(diǎn)上,考慮到資源因素前,我們的公式是( ( 1 × 9 ) ÷ 1.2 ) = 7.5位受訪者。
資源:我們知道可用的預(yù)算和時(shí)間。從過去的項(xiàng)目中我們也知道實(shí)施15個(gè)受訪者的訪談這些資源是足夠的。如果我們能訪談少于15位的受訪者,我們能夠分出更多資源在設(shè)計(jì)上。增加4個(gè)受訪者對(duì)我們現(xiàn)在的數(shù)目(8位受訪者)來(lái)說(shuō)并不會(huì)讓我們的資源縮水太多,而且這能讓我們跟每個(gè)用戶類型的4個(gè)不同受訪者進(jìn)行交談。
資源(R)= 4
基于決定樣本量的公式,我們向我們的客戶建議需要12位調(diào)研對(duì)象:
- 范圍(S):小范圍,升級(jí)一個(gè)現(xiàn)有產(chǎn)品;S?= 1
- 特征(C):3個(gè)用戶類型;C = 9
- 專業(yè)程度(E):10年;E =1.20
- 資源(R):足夠總計(jì)15人的調(diào)研對(duì)象;R = +4
- 我們的公式是( ( S?× C?) ÷ E?) + R ;
- 故,( ( 1?× 9?) ÷ 1.2 ) + 4 =12,這個(gè)研究需要12位調(diào)研對(duì)象。
數(shù)據(jù)分析的飽和
我們將建立一個(gè)電子表格來(lái)管理我們收集的數(shù)據(jù)。橫向?yàn)閱栴},縱向?yàn)槭茉L對(duì)象。
例表1:數(shù)據(jù)分析電子表格
接下來(lái),我們?cè)黾恿穗娮颖砀竦牡诙€(gè)標(biāo)簽頁(yè),然后基于數(shù)據(jù)呈現(xiàn)進(jìn)行提煉(例表2:數(shù)據(jù)提煉電子表格):
下一步,我們回顧了數(shù)據(jù)來(lái)確定相關(guān)的問題(例表3:?jiǎn)栴}和引言的電子表格):
可信度很快作為主要問題呈現(xiàn)了出來(lái)。幾乎每一個(gè)受訪者都提到了系統(tǒng)缺乏可信度。研究設(shè)計(jì)員跟我們說(shuō),他們不信任創(chuàng)建研究的架構(gòu)。臨床數(shù)據(jù)收集員跟我們說(shuō),他們不信任新手研究設(shè)計(jì)員。而管理員跟我們說(shuō),他們不信任研究方案的設(shè)計(jì),不信任數(shù)據(jù)收集員的精準(zhǔn)度和系統(tǒng)能100%準(zhǔn)確地存儲(chǔ)和上傳數(shù)據(jù)。
我們的推薦方案把概念設(shè)計(jì)的焦點(diǎn)放在交互和功能上,以增加產(chǎn)品的可信度。
結(jié)論
定性用戶研究人員必須為選擇樣本量提供支撐依據(jù)。我們可能不是學(xué)術(shù)型研究員,但是我們應(yīng)該為如何決定樣本量而做出努力。我已提供了一個(gè)幫助確定樣本量的公式,這個(gè)標(biāo)準(zhǔn)增加了我們調(diào)研的嚴(yán)謹(jǐn)性和可信度。
我們也應(yīng)該確保數(shù)據(jù)飽和的達(dá)成。為了完成這個(gè)目標(biāo),我們應(yīng)使用一個(gè)有意義的樣本量、使用健全的問題和良好的訪談技術(shù)收集數(shù)據(jù),以及進(jìn)行縝密的數(shù)據(jù)分析。當(dāng)我們決定我們的樣本量和分析我們的數(shù)據(jù)時(shí),客戶和同事將對(duì)我們提供的透明度而感到欣賞。
我們必須將決定定性樣本量的討論繼續(xù)推進(jìn)下去。請(qǐng)分享你在決定樣本量時(shí)遇到的問題或使用的方法。當(dāng)被問到你如何決定樣本量時(shí),你給了你的客戶和同事一個(gè)怎樣的標(biāo)準(zhǔn)?
參考資源
- “Are We There Yet? Data Saturation in Qualitative Research” (PDF), Patricia I. Fusch and Lawrence R. Ness,?The Qualitative Report
- “Justifying the Adequacy of Samples in Qualitative Interview-Based Studies” (PDF), Julie Barnett et al, University of Bath
- “How Many Interviews?” (PDF), Sarah Elsie Baker and Rosalind Edwards, National Centre for Research Methods
- “What Is an Adequate Sample Size? Operationalizing Data Saturation For Theory-Based Interview Studies” (PDF), Health Services Research Unit, University of Aberdeen
- “How Many Test Users in a Usability Study,” Jakob Nielsen, Nielsen Norman Group
原文作者:Victor Yocco
原文地址:《 Filling Up Your Tank, Or How To Justify User Research Sample Size And Data 》
譯者:門衛(wèi)阿伯
本文由 @門衛(wèi)阿伯 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
非常專業(yè)
我在做黨建調(diào)研的時(shí)候參考了您的文章,雖然用了問卷調(diào)查,但是還是決定采用定性樣本量的計(jì)算。不知道能否和你探討。
不明覺厲
給支付寶的作用可能遠(yuǎn)不止于此,僅我自己的行為:普通的刷碼消費(fèi),都會(huì)有意識(shí)的從之前的微信換為支付寶,有了更全面的支付數(shù)據(jù),對(duì)征信金融等業(yè)務(wù)作用巨大
表示看不懂