怎么為“不可量化的任務(wù)”制定指標?
無論采用哪種方式,都應(yīng)該記得指標是最終目標??墒侵笜说某橄蠡筒蝗菀琢炕念I(lǐng)域增加了制定指標的難度。曾在Digg、 Uber、Stripe以及Calm等多家公司工作的Will Larson將在這篇文章分享關(guān)于指標的思考,感興趣的小伙伴趕緊來看看吧。
隨著組織變得越來越復(fù)雜,其管理要靠無形的抽象,越來越脫離其所代表的現(xiàn)實的抽象。
在最小規(guī)模的團隊里面,決策者可能每天都埋頭于代碼之中。稍微大一點的呢,就會跟你談?wù)撜谮s的任務(wù)。團隊再大些之后,領(lǐng)導(dǎo)要討論的就變成了任務(wù)組,并采用諸如“史詩”(epic)之類的花哨用語。
如果要管理的工程師達到上百時,你可能就主要是圍繞著工作主題展開討論了,并且會側(cè)重在若干關(guān)鍵計劃上面。如果手下千軍萬馬,你討論的也許就是用于資源分配決策的投資框架。
無論采用哪種方式,指標都是你的最終目標。
指標是非常有效的抽象。一個結(jié)構(gòu)得當?shù)闹笜藭凶銐虻纳舷挛男畔ⅲㄟ^它可以了解你的工作狀況,把表現(xiàn)跟過去的表現(xiàn)進行上下文關(guān)聯(lián),然后定義清晰的、可分級的目標。
帶有目標的指標的例子:
20%的部署在第四季度完成金絲雀發(fā)布,比第三季度的10%有所提高,但未達25%的目標。
這樣的指標很強大,原因有幾點:
- 首先,歷史背景描述了所取得進展的情況,尤其是跟圖表結(jié)合在一起的時候更能昭示。
- 其次,目標是否已實現(xiàn)一目了然,從歷史記錄可以大致了解目標實現(xiàn)的難易程度。
- 最后,也是最重要的一點是,人們可以在對基本主題了解最少的情況下對其進行評估。
領(lǐng)導(dǎo)復(fù)雜公司的家伙對基礎(chǔ)工作的了解自然不成問題,但是他們出這張牌要非常謹慎。以內(nèi)需要他們關(guān)注的事情太多了,而指標就成為他們篩選哪些領(lǐng)域只需要大概觀察一下,哪些需要再具體研究的重要手段。
組織需要一些時間來獲得新的能力,才能滿足對指標的這種貪得無厭的需求。好的指標需要對底層數(shù)據(jù)有深刻的理解,而形成那種熟悉程度是真正的工作。
什么時候象征著指標時代的開始呢?看你選擇的指標被廢棄的程度。每一次學習都會激發(fā)你對指標的類別進行改進,而且大多數(shù)的新指標都需要新的手段、管道和環(huán)境來支持。
這需要時間,而且是一項艱巨的工作,但這項工作的成果是可預(yù)見的。你投入的時間越多,掌握的信息越多,那么你選擇的指標就會成為其下的現(xiàn)實更持久、更有用的實現(xiàn)。
不管怎樣,指標就是這樣發(fā)揮作用的。隨著我在定義和使用指標方面的經(jīng)驗越來越豐富,我的時間越來越多地花在跟不容易衡量的領(lǐng)域打交道上面,有時候我將其稱為不可測領(lǐng)域。
當我碰到負責基礎(chǔ)設(shè)施的新領(lǐng)導(dǎo)時,我的問對方的第一個問題通常是以下之一:
- 你怎么去衡量公司的安全性?
- 你怎么衡量團隊的生產(chǎn)效率?
我會得到各種不同的答案,但是答案通常都不盡人意。這兩個問題的挑戰(zhàn)非常相似,所以,我會特別探討一下對安全性的衡量。
01 衡量安全性
我們在討論安全性的衡量時,描述你期望的結(jié)果的輸出指標是相對容易的。但是,在一般情況下,安全指標的分子或分母都是不可知的。比方說,你可能想為入侵檢測設(shè)定一個目標,但是從定義上講,你不會知道分母是什么,因為你自然不知道沒檢測到的入侵有多少。
同樣,在你的確知道分子的情況下(比方說,已知的安全漏洞數(shù)量),一般來說,唯一可接受的目標只能是零。在這些力量的共同作用之下,結(jié)果就是“零指標”的擴散,比方說設(shè)定“違規(guī)數(shù)為0”,“內(nèi)部作案數(shù)為0”,“被感染系統(tǒng)數(shù)為0”等目標。
“零指標”是二元制指標的一種特殊形式,這種指標唯一有用的數(shù)據(jù)是能說明你成功(被擊中為0)還是失敗了(被擊中大于0)。
這樣的指標不是很有用,因為所提供的對表現(xiàn)的評價非常粗粒度,真的只有通過或者失敗。更糟糕的是,這種指標還不可執(zhí)行。假設(shè)這不是可以忽略的領(lǐng)域,你在安排下半年工作的時候,不管漏洞數(shù)是0還是4,你對這項工作的優(yōu)先考慮程度都會是一樣的。
如果我們不考慮這些二元化的指標的話,其實還有很多非常有用的指標可以考慮用來衡量我們的安全性的,比方說:
- CVE(通用漏洞披露)庫的升級速度有多快?
- 公司最老的那臺還在用的服務(wù)器用了多久了?
- 通過mTLS 發(fā)起的請求百分比是多少?
- 有多少家伙可以通過SSH訪問服務(wù)器?
- 有多少家伙具備對服務(wù)器的根訪問權(quán)限?
這里所面臨的挑戰(zhàn)是,所有這些輸入指標都非常適合針對計劃衡量進度,但對衡量該計劃的質(zhì)量卻無能為力。當然,我們對服務(wù)器的存儲進行了100%的加密,但這種舉措對安全性的貢獻究竟有多大呢?
依賴輸入指標還有一個問題,那就是輸入太多而且太具體,以至于想要綜合成有用的洞察很難。這意味著這類指標沒法發(fā)揮出關(guān)鍵作用,也就是不能為高層領(lǐng)導(dǎo)提供有效理解某部分工作績效的抽象方法。
02 綜合指標
綜合考慮上述挑戰(zhàn),那么什么才是衡量一個組織績效的好指標呢?我們認為它應(yīng)該具備以下幾點:
- 指標應(yīng)該暴露出足夠的層級,從而檢測出表現(xiàn)隨時間的變化情況;
- 等級之間的變化應(yīng)該為行動提供有用的指導(dǎo);
- 指標應(yīng)該在有限的上下文背景下進行評估,以及
- 應(yīng)該足夠廣泛,可以對巨大的復(fù)雜性進行抽象。
按照上述要求看,我覺得具備這些屬性的純天然安全指標并不存在,但幸運的是,我們不必依賴純天然的指標。我最近的辦法是創(chuàng)造出綜合指標,也就是把輸入指標打包成有用的抽象。
一個很好的例子是:
如果您想建立一個“服務(wù)器安全等級”,也就是根據(jù)輸入指標為每個服務(wù)器從“A”到“F”分配一個字母等級。這里的細節(jié)有點難解釋,不過具安全等級為“A”的服務(wù)器的等級也許比不上一臺剛上線7天,跑的是最新的操作系統(tǒng),并且具備根訪問權(quán)限的人很少的服務(wù)器。
每天,你都要評估每臺服務(wù)器的安全等級,然后就可以開始跟蹤不同字母等級的服務(wù)器的分布情況。
然后,與其詳細討論每一個輸入指標,不如圍繞著改變等級的分布來設(shè)定目標。比方說,你的目標指標可以是:
80%的服務(wù)器的安全級別為A,高于第四季度的60%,達到了我們設(shè)定的75%的目標。
這樣一來,就用非常簡潔的方式代替了大量的復(fù)雜性。每一個安全等級應(yīng)該怎么定義還可以進行非常仔細的討論,但是大家已經(jīng)不需要深入了解相關(guān)定義就可以了解情況了。你可以測量等級分布的變化來評估長期的進展情況。如果等級分布往下走了,那就可以去深入了解一下導(dǎo)致等級下移的輸入指標的情況,然后用來識別出糾正措施。
總的來說,我認為這種方法出奇的有用,但這并不是沒有代價的。這種方法的主要缺點是設(shè)計、檢測和改善綜合指標的復(fù)雜性。取決于你使用什么樣的工具,維護此類指標的開銷可能難以為繼,但是我認為隨著事情變得越來越復(fù)雜,這是一項值得放進你工具箱的強大技術(shù)。
人們還如何為無法衡量的指標制定指標?
順便說一句,跟衡量安全性一樣,衡量生產(chǎn)效率也很有挑戰(zhàn)。之前,我寫過一篇文章來討論過這一點,一方面概括了Accelerate 對生產(chǎn)效率的定義(重點是利用行業(yè)研究來選擇正確的輸入指標),同時我還引入了系統(tǒng)思維把輸入指標歸納為一個可理解的模型。
現(xiàn)在我的想法稍微有些改進了,重點放在對內(nèi)部開發(fā)人員的調(diào)查上面(而不是CSAT 客戶滿意度調(diào)查得分,而是參與率以及最關(guān)注問題的變化率),并圍繞著工作流的可用性構(gòu)成一個綜合指標(基于一系列輸入指標,比方說開發(fā)、測試以及部署的速度和可靠性)。
看來要學習的東西還有很多?。?/p>
作者:boxi,發(fā)布平臺:36氪
原文地址:https://36kr.com/p/5298480
本文由 @36氪 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自 Pixabay,基于CC0協(xié)議
- 目前還沒評論,等你發(fā)揮!