6000字超全解讀:B端云產(chǎn)品使用體驗度量模型
如何去評判或衡量一個B端產(chǎn)品的架構(gòu)方案設(shè)計是否合理?或許我們可以尋找適合B端產(chǎn)品的體驗度量方案,并將B端產(chǎn)品使用體驗作為評判依據(jù)之一。那么,常見的B端云產(chǎn)品常用的體驗度量模型有哪些?來看看本文的總結(jié)分析。
B 端產(chǎn)品使用體驗是衡量 B 端產(chǎn)品架構(gòu)方案設(shè)計是否合理、產(chǎn)品是否好用的一個重要依據(jù),也是提升產(chǎn)品競爭優(yōu)勢的重要因素。且 B 端產(chǎn)品具有鏈路冗長、操作復(fù)雜等特點,好的體驗設(shè)計有助于降低用戶上手門檻,提升用戶體驗。因此,度量 B 端產(chǎn)品的使用體驗尤為重要。
但由于業(yè)務(wù)特征的差異,C 端產(chǎn)品較為成熟的體驗度量方案很難直接搬用于 B 端產(chǎn)品,「尋找適合 B 端產(chǎn)品的體驗度量方案」成為一個難點。
基于上述背景,本篇文章將介紹一些B 端云產(chǎn)品常用的體驗度量模型,希望能為大家提供實踐參考。
一、產(chǎn)品體驗度量模型概覽
行業(yè)中現(xiàn)有的 B 端產(chǎn)品體驗度量方案有哪些呢?以指標(biāo)數(shù)據(jù)的主客觀屬性為依據(jù),可將體驗度量方案劃分為客觀度量、主觀度量和兼顧主客觀度量三大類型。
客觀度量主要是通過數(shù)據(jù)埋點監(jiān)測用戶行為數(shù)據(jù),典型模型/指標(biāo)如 PULSE 模型、活躍用戶數(shù)、留存率、ARPU、LTV 等;
主觀度量主要是收集用戶對產(chǎn)品的主觀評分,典型模型/指標(biāo)包括 NPS、費力度、客戶滿意度指數(shù)、KANO 滿意度模型等;
主客觀兼顧度量則是結(jié)合用戶行為數(shù)據(jù)和主觀打分得到分值,并把分值劃分成不同等級作為參考,典型模型包括 UES 模型、HEART 模型、GSM 模型、PTECH 模型等等。
圖| 現(xiàn)有體驗度量模型概覽
從該分類可看出,互聯(lián)網(wǎng)大廠目前使用的度量模型大多兼顧主客觀數(shù)據(jù),能夠更全面地量化產(chǎn)品的使用體驗。因此,本篇文章介紹的體驗度量模型將聚焦于該類型,主要側(cè)重于UES 模型的介紹,同時會簡單地介紹下谷歌的HEART、GSM 模型和螞蟻金服的 PTECH 模型。
二、UES理論模型介紹
1. UES 簡介
UES(User Experience System)是阿里云設(shè)計中心通過多年設(shè)計實踐沉淀下來的云產(chǎn)品使用體驗度量系統(tǒng),它不僅是一套方法論,更是一套可運行的體系,由三大部分有機構(gòu)成:
一是包含五大維度的 UES 體驗度量模型;
二是包含易用性測試工具和數(shù)字化管理平臺的體驗工具集;
三是體驗問題從發(fā)現(xiàn)到閉環(huán)的體驗管理機制。
由此可見,除了確定模型指標(biāo),UES 還進一步完善了基于 UES 模型的數(shù)字化管理體系,包括工具化的度量產(chǎn)品、系統(tǒng)化的管理機制(本篇文章主要介紹的是理論化層面的 UES 體驗度量模型)。
圖| UES 構(gòu)成
度量產(chǎn)品體驗的指標(biāo)有很多,但整體可分為三大類,分別是主觀態(tài)度、客觀行為和系統(tǒng)表現(xiàn),如下圖所示,從下至上,主觀性會越來越強。
圖| 體驗指標(biāo)類型
2. UES 五大度量維度
UES 模型為綜合運用主觀和客觀、定性和定量分析的度量體系,包含易用性、一致性、滿意度、任務(wù)效率和性能5個度量維度,適用于技術(shù)類B端(云)產(chǎn)品的體驗度量場景。
圖| UES 模型五大度量維度
首先,衡量主觀態(tài)度的維度有三個:易用性、一致性和滿意度。
- 易用性是衡量產(chǎn)品使用體驗的核心維度,反映產(chǎn)品對用戶而言是否易于學(xué)習(xí)和使用。
- 一致性指多款產(chǎn)品間通用范式部分的一致程度。
- 滿意度反映用戶對產(chǎn)品或服務(wù)的期望被滿足的程度,且一定程度上反映用戶再次使用和推薦產(chǎn)品的程度。
其次,衡量客觀行為的維度為任務(wù)效率。任務(wù)效率反映用戶使用產(chǎn)品完成任務(wù)的準(zhǔn)確性、完備性及相應(yīng)的資源消耗程度。針對有明確任務(wù)或有固定使用流程的產(chǎn)品,通過比對用戶路徑和產(chǎn)品設(shè)計的理想路徑之間的差異,能夠幫助我們發(fā)現(xiàn)產(chǎn)品流程設(shè)計上的問題。
最后,衡量系統(tǒng)表現(xiàn)的維度為性能。性能反映用戶使用產(chǎn)品的流暢性和穩(wěn)定性,影響用戶感知。
從整體上看,這些指標(biāo)間并非相互獨立,而是相互影響、相互促進。比如說,易用性的提升可以促進任務(wù)效率的提升,降低學(xué)習(xí)成本,提升用戶對產(chǎn)品的滿意度;一致性的提高可以降低用戶的操作時長及錯誤率,進而提升任務(wù)效率和用戶的滿意度。而任務(wù)效率和性能的提升也能正向影響滿意度。
3. UES 指標(biāo)體系
在五大度量維度的基礎(chǔ)上,UES 模型的每個維度均細分了相應(yīng)的二級指標(biāo),且運用了多種度量方法、度量工具來度量指標(biāo),整體框架如下:
圖| UES 模型框架
易用性包含易操作性、易學(xué)性、易見性/清晰性三個子維度,主要通過易用性測試、啟發(fā)式評估等方法來度量。
一致性包含整體樣式一致性、通用框架一致性、常用場景組件一致性等三個子維度,主要通過啟發(fā)式評估來度量。
滿意度的度量方法主要有用戶訪談、問卷調(diào)研,采用的度量工具為可用性度量表、滿意度問卷。
任務(wù)效率包含功能使用率、任務(wù)完成率、任務(wù)完成時間、任務(wù)完成效率等子維度,需要通過用戶行為數(shù)據(jù)采集的數(shù)據(jù)監(jiān)控方法來度量。
性能包含首屏渲染時間、頁面請求響應(yīng)時間、API 請求響應(yīng)時間、頁面請求成功率等維度,需要通過應(yīng)用實時監(jiān)控服務(wù)的性能監(jiān)控方法來度量。
對于每一個細分指標(biāo)的定義,下表給出了相應(yīng)的解釋。但這些僅是比較普遍、通用的解釋,在應(yīng)用中,應(yīng)根據(jù)實際情況進行調(diào)整。比如說,對于滿意度的度量,SaaS 和 PaaS 產(chǎn)品考量的維度會有些許不同。衡量 SaaS 產(chǎn)品滿意度時可能會考量產(chǎn)品的智能化程度,衡量 PaaS 產(chǎn)品滿意度時可能還會考量產(chǎn)品的開發(fā)效率、開放能力等。
圖| UES 模型指標(biāo)定義
4. UES 度量方法及工具
首先是易用性度量,UES 模型的易用性度量運作機制如下圖。度量方法主要分為面向?qū)<业膯l(fā)式評估和面向真實用戶的易用性測試。這個過程中,需要由易用性專業(yè)建設(shè)組和業(yè)務(wù)線設(shè)計師、產(chǎn)品團隊共同參與。整體可分為三步走:
一是統(tǒng)一易用性度量的標(biāo)準(zhǔn)、行動指南,以指導(dǎo)易用性度量的全流程;
二是輸出專業(yè)的易用性度量報告;
三是通過系統(tǒng)化監(jiān)控和專項改進進行閉環(huán)管理。
圖| 易用性度量運作機制
下表是啟發(fā)式評估和易用性測試過程中會運用到的易用性度量量表工具,主要是讓專家和用戶反饋使用這款產(chǎn)品的真實感受,對易用性的每個細分指標(biāo):易操作性、易學(xué)性、易見性的表現(xiàn)進行評分。
表|易用性度量表
接著是一致性度量,一致性的常用度量方法為專家評估法,其具體實施步驟如下:
第一步是組織評測人員:招募3~5人組成專家組。需注意的是,被評測產(chǎn)品的設(shè)計師需回避;
第二步是制定評測計劃:劃定評估的范圍,建議一次性評估的功能不要太多;
第三步則是實施具體評測:在評估過程中,各位專家需獨立完成,避免討論溝通;
第四步為召開評測會議:讓評估人員依次講述評估發(fā)現(xiàn)并進行互動討論;
最后是總結(jié)評價結(jié)果:將所有評估結(jié)果進行去重和收斂,輸出結(jié)論建議。
圖| 專家評估法實施步驟
在運用專家評估法度量一致性的過程中,所運用的度量工具表為一致性度量量表,主要是讓專家對產(chǎn)品整體樣式、通用框架、常用場景及組件的細分指標(biāo)的一致性表現(xiàn)進行評分。
表|一致性度量表
然后是滿意度度量。通用的滿意度度量量表框架如下,主要是對產(chǎn)品功能的易學(xué)性、易操作性、費力度等進行評價,但實際應(yīng)用過程中應(yīng)根據(jù)所度量對象適當(dāng)調(diào)整量表內(nèi)容。
表|滿意度度量量表
任務(wù)效率為客觀行為數(shù)據(jù),需通過數(shù)據(jù)埋點與采集,進行用戶行為分析得到相關(guān)原始數(shù)據(jù),再根據(jù)指標(biāo)定義公式計算相應(yīng)的指標(biāo)值。
性能度量指標(biāo)為系統(tǒng)表現(xiàn)數(shù)據(jù),可通過數(shù)據(jù)埋點或從系統(tǒng)后臺拉取數(shù)據(jù),借助性能監(jiān)控系統(tǒng)實時監(jiān)控性能指標(biāo)。企業(yè)可結(jié)合實際業(yè)務(wù)場景自行搭建性能監(jiān)控系統(tǒng),也可應(yīng)用市場上成熟的 APM 類監(jiān)控產(chǎn)品,如阿里云的 ARMS( Application Real-Time Monitoring Service, 應(yīng)用實時監(jiān)控服務(wù) )。
圖 | ARMS 性能監(jiān)控效果圖
5. 體驗評分
介紹完 UES 的指標(biāo)體系及相應(yīng)的度量方法及工具后,則到了最后一步:如何根據(jù)搭建好的指標(biāo)體系及獲取到的指標(biāo)計算出產(chǎn)品或功能的體驗得分呢?
整體的原理是:一級指標(biāo)得分為其所包含的二級指標(biāo)的加權(quán)平均值,而測評總分由一級指標(biāo)得分加權(quán)平均得到。測評總分計算公式如下:
式中,S 為測評總分,ai為第 i 個一級指標(biāo)的得分,Wi為第 i 個一級指標(biāo)的權(quán)重,n 為一級指標(biāo)的數(shù)量。
對于權(quán)重的確定,阿里對 UES 模型的權(quán)重設(shè)計為:易用性和一致性 0.3,任務(wù)效率和性能 0.1, 滿意度 0.2。
但對于面向大企業(yè)的B端產(chǎn)品,該權(quán)重不一定適合照搬。那么如何根據(jù)實際的體驗度量對象確定指標(biāo)的權(quán)重呢?
表 | 指標(biāo)權(quán)重計算方法
此處歸納了常見的指標(biāo)權(quán)重計算方法,主要有三類:主觀賦權(quán)法、客觀賦權(quán)法和綜合賦權(quán)法。
- 主觀賦權(quán)法是基于決策者的經(jīng)驗或偏好,通過對各指標(biāo)重要性進行比較來賦權(quán),比如專家評分法、優(yōu)序圖法、層次分析法等;
- 客觀賦權(quán)法是從實際數(shù)據(jù)出發(fā),利用各指標(biāo)值所反映的客觀信息確定權(quán)重,比如熵權(quán)法、標(biāo)準(zhǔn)離差法等;
- 綜合賦權(quán)法則是將主觀賦權(quán)法和客觀賦權(quán)法相結(jié)合。
這里簡單介紹下實操性比較高的層次分析法和優(yōu)序圖法。
首先是層次分析法,該方法常被運用于多目標(biāo)、多準(zhǔn)則、多要素、多層次的非結(jié)構(gòu)化的復(fù)雜決策問題,特別是戰(zhàn)略決策問題。
其優(yōu)點在于系統(tǒng)化、簡潔實用,且所需定量數(shù)據(jù)信息較少,但也存在缺點,比如說指標(biāo)過多時,數(shù)據(jù)統(tǒng)計量大,且權(quán)重難以確定;特征值和特征向量的精確求法比較復(fù)雜。
該方法整體可分為三步:
一是基于問卷數(shù)據(jù)構(gòu)造判斷矩陣。具體而言,由專家對同一層次內(nèi) n 個指標(biāo)的相對重要性(兩兩因素之間)進行打分,標(biāo)度范圍取 1-9 之間:
1 表示兩個指標(biāo)具有相同重要性,3 表示兩個因素中,前者比后者稍重要,標(biāo)度越高表示前者比后者的重要性程度越高。另外,若因素 i 與因素 j 的重要性之比為 aij,則因素 j 與因素 i 的重要性之比為 aij 的倒數(shù)。
根據(jù)相對重要性打分,即可構(gòu)建判斷矩陣 A 。
第二步則是基于判斷矩陣計算權(quán)重,將矩陣 A 的各行向量進行幾何平均(方根法),然后進行歸一化,得到各評價指標(biāo)權(quán)重和特征向量 W 。
最后一步為一致性檢驗。所謂一致性是指判斷思維的邏輯一致性(如當(dāng)甲比丙是強烈重要,而乙比丙是稍微重要時,顯然甲一定比乙重要。這就是判斷思維的邏輯一致性,否則判斷就會有矛盾)。一致性檢驗是指確定不一致的允許范圍。通過一致性檢驗的權(quán)重值才是合理的。
可能層次分析法的權(quán)重計算和一致性檢驗原理比較復(fù)雜,但在實際應(yīng)用過程中,可以利用市面上成熟的層次分析法工具來實現(xiàn),如元決策的 yaahp 軟件,導(dǎo)入問卷數(shù)據(jù),系統(tǒng)即可自動計算出相應(yīng)的權(quán)重并進行一致性檢驗。
然后是優(yōu)序圖法,該方法非常適合在參與評估指標(biāo)數(shù)量較多(如需評估的指標(biāo)超過5個)的情況下使用。當(dāng)指標(biāo)數(shù)量較多時,優(yōu)序法的專家打分工作量相對較小,且簡單易實操。但該方法也存在一定的弊端,如未進行一致性檢驗或多輪驗證,權(quán)重數(shù)據(jù)的嚴(yán)謹(jǐn)性相對較差。
該方法整體可分為三步:
一是重要性打分,由每位專家獨立對問卷內(nèi)各指標(biāo)進行重要性打分,并計算出各指標(biāo)所有專家打分的平均分。
二是指標(biāo)重要性比較,通過各指標(biāo)的平均分,將不同指標(biāo)間的平均分進行兩兩比較,其中,分?jǐn)?shù)相同的計為 0.5,相對較大的記為 1,相對較小的記為 0,并將各指標(biāo)比較的每行分?jǐn)?shù)相加,得到各指標(biāo)的優(yōu)序數(shù)(TTL)。
最后則是對 TTL 值進行歸一化處理,得到指標(biāo)的權(quán)重值。
表|層次分析法和優(yōu)序圖法優(yōu)缺點比較
三、谷歌 HEART-GSM 模型介紹
HEART-GSM模型包括【5】+【3】兩個部分:5個用戶體驗度量維度和3個確定數(shù)據(jù)指標(biāo)的步驟。
首先,代表5個用戶體驗度量維度的 HEART 模型由 Google 于 2010 年發(fā)表,是以用戶為中心的度量模型,涵蓋了用戶主客觀數(shù)據(jù)以及可用性指標(biāo),可用于大范圍的用戶體驗度量,五個維度分別為愉悅度、參與度、接受度、留存度和任務(wù)完成度。
- 愉悅度指的是用戶在使用過程中的主觀感受,主要包括可用性、易用性、視覺感受、滿意度、推薦意愿等維度;
- 參與度衡量的是用戶在產(chǎn)品/服務(wù)/功能中深度參與的表現(xiàn),如訪問頻次、訪問時長、互動深度或強度等;
- 接受度是針對新用戶的維度,統(tǒng)計有多少新用戶接受了產(chǎn)品、功能,如特定時期內(nèi)核心頁面的PV、UV,新功能的使用留存;
- 留存度是針對老用戶的維度,衡量現(xiàn)有用戶對產(chǎn)品的重復(fù)使用情況,常見指標(biāo)如次日留存率、7日留存率等;
- 任務(wù)完成度指用戶在使用產(chǎn)品/服務(wù)/功能中能否順利完成目標(biāo)任務(wù)的情況,包括任務(wù)完成率、任務(wù)完成效率、錯誤率等指標(biāo)。
圖|HEART 模型五大維度
為了將這個抽象的度量標(biāo)準(zhǔn)應(yīng)用于實踐,Google 又提出以“目標(biāo)(Goal)——信號(Signal)——指標(biāo)(Metric)”的拆解流程來定義 HEART 指標(biāo)數(shù)據(jù),讓使用該模型的產(chǎn)品團隊,可以根據(jù)用戶體驗?zāi)繕?biāo)和業(yè)務(wù)目標(biāo),完成數(shù)據(jù)指標(biāo)的選擇,最終保證指標(biāo)是服務(wù)于業(yè)務(wù)目標(biāo)和用戶體驗的。
這三個大步驟又可細分為五個小步驟,首先是梳理業(yè)務(wù)流程,分析確定產(chǎn)品目標(biāo)或者體驗?zāi)繕?biāo),接著,結(jié)合度量維度的定義和目標(biāo)選取與實際業(yè)務(wù)流程貼合的度量維度,然后是選擇可以顯示目標(biāo)成功或失敗的信號,最后是從信號中提取適當(dāng)選擇的數(shù)據(jù)指標(biāo),并選取相應(yīng)的度量方法進行追蹤。
圖|GSM 拆解流程
整體而言,HEART 模型的C 端傾向較明顯,并不完全適用于 B 端產(chǎn)品的體驗度量,比如說,由于 B 端產(chǎn)品的業(yè)務(wù)性質(zhì),用戶使用產(chǎn)品后較難因為個人使用的體驗而在參與度、留存度及任務(wù)完成度上體現(xiàn)出差異。
圖 | HEART-GSM 模型優(yōu)劣勢
可能會有小伙伴對信號跟指標(biāo)的區(qū)別不太清晰,這里說下我的理解:
在 GSM 模型中,目標(biāo)、信號、指標(biāo)之間是承接的關(guān)系。確定目標(biāo)從而判斷目標(biāo)對應(yīng)的信號,然后拆解為可量化的指標(biāo)。信號是目標(biāo)的分解,一個目標(biāo)可以分解為多個信號(信號也可理解為目標(biāo)對應(yīng)的表現(xiàn),目標(biāo)的成功或者失敗,如何作用在用戶的行為之中,哪些行為、感受可以說明目標(biāo)已經(jīng)成功)。指標(biāo)是信號的衡量標(biāo)準(zhǔn),一個信號可以由多個指標(biāo)來衡量。
舉個例子:
- 目標(biāo):智能搜索幫助用戶查詢結(jié)果;
- 信號:更多的用戶使用智能搜索 、用戶對搜索到的結(jié)果很滿意;
- 指標(biāo):點擊次數(shù)、滿意度。
四、螞蟻金服 PTECH 模型
以 HEART 度量模型為基礎(chǔ),螞蟻金服根據(jù)企業(yè)級產(chǎn)品現(xiàn)狀和特征做了部分的補充和修正,推出了適用于企業(yè)級產(chǎn)品的 PTECH 模型。PTECH 模型與 HEART 模型的主要區(qū)別在于:
- 將 NPS 改成用戶主觀滿意度:NPS 對 C 類產(chǎn)品是一個很有效的指標(biāo),對于企業(yè)級中后臺來說,往往由于企業(yè)產(chǎn)品的封閉內(nèi)環(huán)、用戶基數(shù)等眾多原因,可能還是滿意度來的更加有效;
- 不強調(diào)留存率:企業(yè)級產(chǎn)品用戶往往沒有太多的可選余地,因此留存率未必適合用來衡量用戶對于產(chǎn)品的喜好;
- 參與度和接受度指標(biāo)合并:對于企業(yè)級中后臺系統(tǒng),用戶使用的目標(biāo)性更強,TA 就是來完成某個任務(wù)(或者說 TA 就是來完成工作的),因此活躍度基本和產(chǎn)品能否滿足用戶的需求強相關(guān);
- 增加了清晰度。
圖| PTECH 模型框架
PTECH 模型通過馬斯洛需求金字塔理論推導(dǎo)出用戶體驗需要滿足的5個層次,分別對應(yīng)度量框架的五個維度,做到了定量與定性全覆蓋。生理-安全-歸屬-尊重-自我實現(xiàn)五個層次分別對應(yīng):
- P——能用,這產(chǎn)品穩(wěn)定、無故障、性能好;
- T——有用,這產(chǎn)品能夠確定性地完成某些任務(wù);
- E——常用,這產(chǎn)品滿足的是一個會被反復(fù)使用的真實訴求;
- C——好用,這是一個專業(yè)成熟、交互友好、功能清晰的產(chǎn)品;
- H——愛用,這是一個能讓用戶獲得滿足、成就感的產(chǎn)品。
圖 | PTECH 模型優(yōu)劣勢
以上就是本次文章的全部內(nèi)容啦,篇幅有些長,劃個重點回顧下吧~
五、劃重點
1)綜合主客觀指標(biāo)的產(chǎn)品體驗度量模型主要包括:UES 模型、HEART-GSM 模型、PTECH 模型。
2)UES 模型為綜合運用主觀和客觀、定性和定量分析的度量體系,包含易用性、一致性、滿意度、任務(wù)效率和性能5個度量維度,適用于技術(shù)類 B 端(云)產(chǎn)品的體驗度量場景。
3)HEART-GSM 模型包括【5】+【3】兩個部分:5 個用戶體驗度量維度——愉悅度、參與度、接受度、留存度和任務(wù)完成度、3 個確定數(shù)據(jù)指標(biāo)的步驟——目標(biāo)(Goal)——信號(Signal)——指標(biāo)(Metric)。
4)PTECH 模型是基于 HEART 模型修訂的,主要度量維度如下圖:
本文由 @Problemer 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!