沒(méi)有監(jiān)控的模型，就像沒(méi)有指南針的鐘表，失去了控制。我們?nèi)绾瓮ㄟ^(guò)數(shù)據(jù)的變化來(lái)判斷模型是否正常運(yùn)行，以減少風(fēng)險(xiǎn)？作者結(jié)合自己的經(jīng)歷，總結(jié)如何做好并用好風(fēng)控模型監(jiān)控，希望對(duì)你有所幫助。

使用沒(méi)有監(jiān)控的模型，就像使用沒(méi)有指針的鐘表，它可能在工作，但你怎么知道呢？

模型監(jiān)控就是模型上線之后，根據(jù)數(shù)據(jù)的變化來(lái)判斷模型是否正常運(yùn)行。

茲事體大。

一、為什么重要

“最近通過(guò)率下降了，怎么辦？”

“最近逾期率上升了，怎么辦？” 或者，“最近逾期率沒(méi)什么變化，真開(kāi)心。”

當(dāng)你不做監(jiān)控時(shí)，上面是你可能發(fā)出的提問(wèn)。這些問(wèn)題 low 不 low，你自己說(shuō)。

報(bào)表體系的搭建對(duì)于任何一家金融機(jī)構(gòu)都尤為重要，對(duì)于風(fēng)控模型，上線部署后會(huì)因內(nèi)外部各種因素引起模型分?jǐn)?shù)偏移，甚至出現(xiàn)錯(cuò)誤。

為了能在第一時(shí)間發(fā)現(xiàn)問(wèn)題，我們需要對(duì)模型進(jìn)行動(dòng)態(tài)監(jiān)控。有一套相對(duì)完整的報(bào)表系統(tǒng)，能對(duì)模型的有效性、穩(wěn)定性做到及時(shí)的掌控，以確保模型如期運(yùn)行。否則，應(yīng)啟動(dòng)迭代新的模型。

在這之后，你的問(wèn)題會(huì)變成，

“最近有個(gè)渠道客群模型均分下降了十幾分，通過(guò)率低了很多，要不要下線這個(gè)渠道？”

“最近逾期率沒(méi)什么變化，但模型分 KS 下降了 5 個(gè)點(diǎn)了，是不是模型有問(wèn)題了？”

你應(yīng)該意識(shí)到，報(bào)表讓你提出了更針對(duì)性的問(wèn)題，并指向你去解決問(wèn)題。

二、如何做監(jiān)控

我們都知道風(fēng)險(xiǎn)表現(xiàn)是滯后的，用戶申請(qǐng)之后需要一個(gè)表現(xiàn)期你才能知道這個(gè)人是好的還是壞的。模型同學(xué)往往重點(diǎn)關(guān)注模型效果，需要先有 label，但在沒(méi)有 label 之前，肯定也不能放任不管。以需不需要 label 為界，我們可以把監(jiān)控分為前端監(jiān)控和后端監(jiān)控。

申請(qǐng)時(shí)我們能獲取得到的東西，可以用來(lái)做前端監(jiān)控，例如，申請(qǐng)量、通過(guò)率、客群分?jǐn)?shù)分布等。如果我們更進(jìn)一步，關(guān)注策略的穩(wěn)定性，拒絕流的監(jiān)控就很重要。除此之外，我們，還應(yīng)該關(guān)注重要特征的監(jiān)控。

這一步，是為了在第一時(shí)間監(jiān)控到線上發(fā)生了什么，以及我們的客戶是什么人。申請(qǐng)量、通過(guò)率的穩(wěn)定，最讓人省心，出現(xiàn)較大波動(dòng)，則應(yīng)對(duì)其原因有基本的了解，是既定的渠道推廣，還是什么不知名的原因。通過(guò)率最為重要，如其發(fā)生非預(yù)期的變化，就要去看拒絕流的哪個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題，拒絕流是決策引擎中規(guī)則執(zhí)行的順序，例如，先過(guò)黑名單、再過(guò)強(qiáng)規(guī)則、再過(guò)模型，檢查這些比例是否穩(wěn)定合理。模型通過(guò)率的變化是客群分?jǐn)?shù)分布變動(dòng)導(dǎo)致的，又可以溯源至特征的分布。

而后端監(jiān)控主要是關(guān)注模型性能和資產(chǎn)表現(xiàn)，最直接對(duì)應(yīng)的就是 KS 和壞賬率 PD。后端監(jiān)控中應(yīng)該統(tǒng)計(jì)出每個(gè)分?jǐn)?shù)段的人數(shù)和壞客戶比例，這才是和決策直接相關(guān)的東西。

資產(chǎn)質(zhì)量永遠(yuǎn)是最重要的，放出去的錢(qián)有多少能回來(lái)本質(zhì)上都取決于資產(chǎn)的質(zhì)量。后端監(jiān)控當(dāng)然很有用，但別忽略了前端監(jiān)控，客群的均分、收入、征信表現(xiàn)等 x，或者 f(x)，都一定程度上體現(xiàn)了 y。

前后端，是更有效率和更準(zhǔn)的問(wèn)題。

模型和策略的共同點(diǎn)是都很關(guān)注人，異同點(diǎn)則是前者是模型視角，關(guān)注評(píng)分，后者是資產(chǎn)視角，關(guān)注錢(qián)。

三、如何讀監(jiān)控

數(shù)據(jù)分析的三板斧，看趨勢(shì)、看對(duì)比、看細(xì)分。解讀監(jiān)控報(bào)表亦如此。光有一個(gè)數(shù)據(jù)是無(wú)意義的，比較才能使其有洞見(jiàn)，怎么比？和過(guò)去比，和其他的比，分開(kāi)了自己比。

趨勢(shì)分析：關(guān)注業(yè)務(wù)量、通過(guò)率、逾期率、KS 等指標(biāo)逐月甚至是逐日的變化趨勢(shì)。申請(qǐng)量增長(zhǎng)顯著的話，還得保證資金儲(chǔ)備充足。每個(gè)關(guān)鍵指標(biāo)趨勢(shì)變化的拐點(diǎn)都值得注意，不一定存在問(wèn)題，但至少應(yīng)予以思考。

對(duì)比分析：分為縱向比較和橫向比較，前者是自己和自己比，后者是自己和別人比?？v向?qū)Ρ冗€包括環(huán)比和同比，環(huán)比就是本期和上期比，例如這個(gè)月和上個(gè)月比，同比是本期和上一周期的同期比，例如今年 618 和去年 618 比。很多數(shù)據(jù)指標(biāo)是有周期性的。橫向比較就是跟行業(yè)其他平臺(tái)比一比，這個(gè)很有用，出問(wèn)題了是行業(yè)問(wèn)題還是你自己的問(wèn)題，大面上有這個(gè)橫向比較就差不多知道了。

細(xì)分分析：選取一些關(guān)鍵維度，如渠道、年齡、地域、收入等，去關(guān)注這些維度不同客群各指標(biāo)的差異。貸前最主要的一個(gè)維度就是獲客渠道，要密切關(guān)注各渠道的轉(zhuǎn)化和風(fēng)險(xiǎn)。好渠道是用來(lái)拓展業(yè)務(wù)的，壞渠道只會(huì)增加損失。數(shù)據(jù)分解，定義哪些是問(wèn)題，哪些不是問(wèn)題，或者說(shuō)，哪些是機(jī)會(huì)，哪些不是。如果你的業(yè)務(wù)規(guī)模和業(yè)務(wù)模式總是一成不變的，也許不需要分解。然而，這種情況是極少的。歸因分析的基礎(chǔ)就是細(xì)分。

因?yàn)槟阋@樣讀監(jiān)控，你就自然知道如何做監(jiān)控。有效的解讀監(jiān)控，讓你關(guān)注到真正的問(wèn)題點(diǎn)，而后才能解決問(wèn)題。

四、采取行動(dòng)

如果模型和策略同學(xué)不按時(shí)審閱監(jiān)控結(jié)果，那工作也是很難開(kāi)展的。如果審閱監(jiān)控結(jié)果后，不采取行動(dòng)，那工作是無(wú)意義的。

最終的行動(dòng)就只有兩個(gè)，一是調(diào)整策略，一是迭代模型。

通過(guò)率下降、風(fēng)險(xiǎn)上升，是最?lèi)毫拥那闆r。策略調(diào)嚴(yán)是沒(méi)辦法的第一步，但這沒(méi)什么用，因?yàn)橥ㄟ^(guò)率已經(jīng)很低了。大概率是模型失效了，也許是數(shù)據(jù)質(zhì)量導(dǎo)致的，也許就是模型部署有問(wèn)題，這肯定要迭代模型。

另外三種 case 呢，通過(guò)率上升、風(fēng)險(xiǎn)下降，皆大歡喜；通過(guò)率上升、風(fēng)險(xiǎn)上升，通過(guò)率下降、風(fēng)險(xiǎn)下降，就有點(diǎn)難了。三種行動(dòng)，調(diào)整策略，迭代模型，什么都不做，選哪個(gè)？

我們都知道做產(chǎn)品增長(zhǎng)呢有一個(gè)“北極星指標(biāo)”，也叫“唯一關(guān)鍵指標(biāo)”（OMTM，One metric that matters），就是產(chǎn)品現(xiàn)階段最關(guān)注的指標(biāo)。信貸業(yè)務(wù)的北極星指標(biāo)是什么呢，更常見(jiàn)的說(shuō)法可能是在貸余額。招商銀行還曾經(jīng)把 app 月活用戶數(shù)當(dāng)北極星指標(biāo)。那如果要給模型定一個(gè) OMTM 呢？不管是在貸余額還是月活，我們都是要越多越好的，怎么多起來(lái)，就是要模型足夠好。模型足夠好，通過(guò)率才能足夠高，營(yíng)銷(xiāo)才敢放開(kāi)。那模型的 OMTM 最好的選擇就是 KS。

現(xiàn)在好辦了，關(guān)注這個(gè) OMTM，不達(dá)標(biāo)就行動(dòng)。例如模型 KS 下降 10 個(gè)點(diǎn)，或者下降比例 30%，就考慮去迭代模型。

說(shuō)的是考慮迭代模型，不是說(shuō)必須。前面的分析應(yīng)該讓你對(duì)下降原因有了一些了解，結(jié)合起來(lái)看。

明確核心指標(biāo)有助于我們?cè)趶?fù)雜的大盤(pán)數(shù)據(jù)中找到重點(diǎn)，快速做出決策。特別是在同時(shí)訂閱多個(gè)指標(biāo)時(shí)，有些指標(biāo)正向，有些負(fù)向，就可以重點(diǎn)關(guān)注核心指標(biāo)，舍棄不太重要的指標(biāo)。采取行動(dòng)會(huì)更迅速且更具共識(shí)。

五、不太合理的現(xiàn)象

模型同學(xué)往往過(guò)于關(guān)注效果監(jiān)控，而忽略流量情況。這個(gè)是視角問(wèn)題，只看局部不好。即使不需要你去了解業(yè)務(wù)，你最起碼也得歸因吧。

因?yàn)槟悴挥米鰶Q策，所以不去了解真正的問(wèn)題，然后把真實(shí)的工作做成了 kaggle 比賽的樣子。非常需要引起大家的注意。

你會(huì)發(fā)現(xiàn)你天天在解決問(wèn)題、解決問(wèn)題，問(wèn)題在于這都是別人告訴你的問(wèn)題，你什么時(shí)候去發(fā)現(xiàn)問(wèn)題呢？

很多模型同學(xué)都不管這些，待在所謂的算法工程師的 title 里面玩弄所謂的算法。假如你對(duì)結(jié)果負(fù)責(zé)，你就不會(huì)這樣了。

很多企業(yè)愿意毫不猶豫地增加千萬(wàn)資金接入數(shù)據(jù)，而不愿意花費(fèi)幾十萬(wàn)來(lái)培訓(xùn)員工提升綜合的風(fēng)險(xiǎn)管理能力。只能說(shuō)，這就很神奇。

六、經(jīng)驗(yàn)分享

一般來(lái)說(shuō)，在模型訓(xùn)練好上線后，模型能力會(huì)不斷衰減，呈波動(dòng)狀下行?？梢栽O(shè)定一個(gè)閾值，當(dāng)模型的 AUC 或者 KS 低于這個(gè)閾值的時(shí)候，重新迭代模型。

如果模型沒(méi)有隨時(shí)間衰減，B 卡可能會(huì)這樣，迭代模型光靠更新樣本就意義不大，這時(shí)候應(yīng)該做的是，深化信貸特征的挖掘。

如果模型效果衰減很厲害，實(shí)時(shí)模型要注意特征計(jì)算層有沒(méi)有出現(xiàn)問(wèn)題，離線模型除特征跑批出現(xiàn)操作異常外，一般都是業(yè)務(wù)變化導(dǎo)致客群發(fā)生了變化。別老想著模型打分有問(wèn)題。

線上如果出現(xiàn)問(wèn)題，很難直接指向模型，因?yàn)閺?fù)雜性其解釋權(quán)都在模型同學(xué)手上。策略同學(xué)不要聽(tīng)他們的解釋。問(wèn)題容易出在模型上面，但不是說(shuō)“鍋”都是模型同學(xué)的。

如果模型和策略是分開(kāi)的，還是配置個(gè)模型驗(yàn)證團(tuán)隊(duì)吧。

貸前因?yàn)橐皶r(shí)了解流量變化，可以用較短的表現(xiàn)期。

最好的監(jiān)控工具是 Excel，最強(qiáng)大的數(shù)據(jù)分析功能是透視表。

模型監(jiān)控，真的是一個(gè)蠻茲事體大的事情。設(shè)想我是出錢(qián)的老板，我更相信被監(jiān)控穩(wěn)定運(yùn)行的普通模型，而不是“裸奔”的大數(shù)據(jù)模型。

最后強(qiáng)調(diào)下，報(bào)表不是越多越好的，重要的是有價(jià)值。好的報(bào)表是解決你的問(wèn)題，而不是增加你的問(wèn)題。

總而言之，監(jiān)控那些應(yīng)當(dāng)被監(jiān)控的事情，并在發(fā)現(xiàn)問(wèn)題時(shí)采取恰當(dāng)?shù)拇胧?/p>

為我投票

我在參加人人都是產(chǎn)品經(jīng)理2022年度作者評(píng)選，希望喜歡我的文章的朋友都能來(lái)支持我一下~

點(diǎn)擊下方鏈接進(jìn)入我的個(gè)人參選頁(yè)面，點(diǎn)擊紅心即可為我投票。

每人每天最多可投35票，投票即可獲得抽獎(jiǎng)機(jī)會(huì)，抽取書(shū)籍、人人都是產(chǎn)品經(jīng)理紀(jì)念周邊和起點(diǎn)課堂會(huì)員等好禮哦！

投票傳送門(mén)：https://996.pm/7mXqv