數(shù)據(jù)地圖作為數(shù)據(jù)資產(chǎn)管理的核心工具之一，能夠幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化管理，提升數(shù)據(jù)的可見(jiàn)性、可用性和價(jià)值。本文將深入探討數(shù)據(jù)地圖如何助力企業(yè)解決數(shù)據(jù)資產(chǎn)管理中的問(wèn)題，并實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的有效管理。

最近在給數(shù)據(jù)資產(chǎn)管理和治理方向的數(shù)據(jù)產(chǎn)品同學(xué)做求職輔導(dǎo)，如何有“深度”地總結(jié)一個(gè)數(shù)據(jù)資產(chǎn)相關(guān)的產(chǎn)品，是面試過(guò)程中的必答題，所以以數(shù)據(jù)地圖這個(gè)產(chǎn)品為例，分享從業(yè)務(wù)痛點(diǎn)、產(chǎn)品要解決的問(wèn)題，以及需要規(guī)劃的相關(guān)功能的過(guò)程。

數(shù)據(jù)資產(chǎn)是數(shù)據(jù)中臺(tái)的重要根基，沒(méi)有資產(chǎn)的數(shù)據(jù)中臺(tái)是無(wú)源之水，就只能叫做數(shù)據(jù)工具。在數(shù)據(jù)中臺(tái)架構(gòu)中，數(shù)據(jù)資產(chǎn)建設(shè)、管理、治理是重頭戲。那么數(shù)據(jù)資產(chǎn)到底該如何管理，怎樣治理呢?本文主要分享資產(chǎn)管理模塊，后期輸出資產(chǎn)建設(shè)流程規(guī)范、資產(chǎn)治理相關(guān)內(nèi)容。

數(shù)據(jù)資產(chǎn)所處數(shù)據(jù)中臺(tái)中的位置

一、企業(yè)數(shù)據(jù)資產(chǎn)管理面臨的問(wèn)題

數(shù)據(jù)資產(chǎn)的用戶場(chǎng)景可以概況為兩類(lèi)，找數(shù)據(jù)和管數(shù)據(jù)。找數(shù)據(jù)主要是數(shù)據(jù)分析、產(chǎn)品運(yùn)營(yíng)等數(shù)據(jù)消費(fèi)者，基于數(shù)倉(cāng)加工好的數(shù)據(jù)進(jìn)行分析、應(yīng)用。找數(shù)據(jù)時(shí)，主要的痛點(diǎn)如下：

1.數(shù)據(jù)找不到

數(shù)據(jù)生產(chǎn)者和消費(fèi)者會(huì)存在業(yè)務(wù)上的天然屏障。對(duì)于很多一線的業(yè)務(wù)同學(xué)并不能第一時(shí)間數(shù)據(jù)的輸出。例如，一個(gè)新入職的產(chǎn)品要做產(chǎn)品首頁(yè)的改版，想先分析下目前頁(yè)面各個(gè)流量入口的點(diǎn)擊與轉(zhuǎn)化情況，只能去問(wèn)其他的PM或者去找數(shù)據(jù)同學(xué)，流量數(shù)據(jù)是哪個(gè)數(shù)據(jù)表，事件埋點(diǎn)規(guī)則又在哪里?

2.數(shù)據(jù)不敢用

數(shù)據(jù)處理邏輯不清楚，業(yè)務(wù)找到了訂單數(shù)據(jù)在XX表中，但是對(duì)訂單狀態(tài)的枚舉值含義不清楚，或者不知道營(yíng)收的數(shù)據(jù)計(jì)算口徑，不敢用，只能咨詢表的負(fù)責(zé)人。

數(shù)據(jù)質(zhì)量問(wèn)題，搞數(shù)據(jù)的人都知道數(shù)據(jù)質(zhì)量是數(shù)據(jù)團(tuán)隊(duì)的生命線，但是卻又是無(wú)法避免的老大難問(wèn)題，故障出的多了，用戶拿到數(shù)據(jù)的第一反應(yīng)是先和數(shù)據(jù)人員確認(rèn)下，今天數(shù)據(jù)沒(méi)問(wèn)題吧。

管數(shù)據(jù)，主要是數(shù)據(jù)開(kāi)發(fā)者，他們的目標(biāo)是讓自己生產(chǎn)的數(shù)據(jù)可以更安全地被更多人復(fù)用，在實(shí)踐過(guò)程中，面臨的問(wèn)題主要是以下幾種

（1）用戶咨詢多

用戶用數(shù)據(jù)找不到或者找到了數(shù)據(jù)不敢用，就只能向數(shù)據(jù)負(fù)責(zé)人進(jìn)行咨詢，不同人的相同問(wèn)題，或者不同問(wèn)題。每天處理用戶問(wèn)題可能就要花個(gè)幾個(gè)小時(shí)。

（2）數(shù)據(jù)復(fù)用低

數(shù)據(jù)中臺(tái)建設(shè)要解決的也是數(shù)據(jù)復(fù)用問(wèn)題，對(duì)于數(shù)據(jù)工作者經(jīng)常遇到做好了數(shù)據(jù)模型使用者寥寥無(wú)幾的問(wèn)題，有酒香但巷子深無(wú)人知曉的因素，也有部門(mén)墻、數(shù)據(jù)安全限制因素。

（3）價(jià)值感知弱

數(shù)據(jù)開(kāi)發(fā)者做了很多的數(shù)據(jù)模型，但不知道有多少人在使用，用到了哪里，產(chǎn)生了多少業(yè)務(wù)價(jià)值。數(shù)倉(cāng)開(kāi)發(fā)不生產(chǎn)數(shù)據(jù)，只是數(shù)據(jù)的搬運(yùn)工，“工具人”的感受強(qiáng)烈。

（4）問(wèn)題排查路徑長(zhǎng)

用戶反饋數(shù)據(jù)異常時(shí)，需要翻代碼，對(duì)數(shù)據(jù)加工鏈路進(jìn)行追根溯源，排查路徑長(zhǎng)，消耗時(shí)間久。

（5）工作評(píng)估難

作為數(shù)據(jù)管理者，對(duì)于資產(chǎn)最關(guān)心的莫過(guò)于建設(shè)的怎么樣，如何評(píng)估數(shù)據(jù)工作的成果。做了很多的數(shù)據(jù)模型，績(jī)效就應(yīng)該好嗎?

二、數(shù)據(jù)消費(fèi)者與生產(chǎn)者的訴求

1.找數(shù)據(jù)

數(shù)據(jù)消費(fèi)端，通過(guò)數(shù)據(jù)地圖尋找目標(biāo)數(shù)據(jù)，進(jìn)行分析或者數(shù)據(jù)應(yīng)用。

業(yè)務(wù)場(chǎng)景：

• 不知道所需要的數(shù)據(jù)在哪里，“逛數(shù)據(jù)”,發(fā)現(xiàn)目標(biāo)
• 知道表名或字段信息，確認(rèn)數(shù)據(jù)邏輯或元數(shù)據(jù)信息

用戶：

• 核心用戶：數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)開(kāi)發(fā)
• 重要用戶：產(chǎn)品、運(yùn)營(yíng)
• 覆蓋用戶：業(yè)務(wù)開(kāi)發(fā)、商務(wù)等

產(chǎn)品訴求：

• 資產(chǎn)分級(jí)分類(lèi)，提供簡(jiǎn)單易用的資產(chǎn)“地圖”導(dǎo)航，快速找到目標(biāo)表
• 強(qiáng)大的搜索功能，可以基于關(guān)鍵詞、字段、指標(biāo)搜索目標(biāo)表
• 元數(shù)據(jù)信息完善，輔助決策，確定表是不是所需要用的，能不能用，以及邏輯說(shuō)明

2.管數(shù)據(jù)

數(shù)據(jù)生產(chǎn)者，負(fù)責(zé)數(shù)據(jù)加工處理，對(duì)數(shù)據(jù)質(zhì)量、資產(chǎn)元數(shù)據(jù)、資產(chǎn)管理負(fù)責(zé)。

業(yè)務(wù)場(chǎng)景：

• 維護(hù)表元數(shù)據(jù)信息
• 數(shù)據(jù)資產(chǎn)審計(jì)，管理用戶權(quán)限、使用日志
• 數(shù)據(jù)治理，針對(duì)數(shù)據(jù)表的使用情況，定期下線不用表或者冷數(shù)據(jù)歸檔
• 追根溯源：數(shù)據(jù)質(zhì)量異常通知下游，數(shù)據(jù)問(wèn)題快速排查定位問(wèn)題

用戶：

• 核心用戶：數(shù)據(jù)開(kāi)發(fā)
• 覆蓋用戶：數(shù)據(jù)表創(chuàng)建者

產(chǎn)品訴求：

• 元數(shù)據(jù)維護(hù)操作簡(jiǎn)單、快捷，支持批量操作
• 可以清楚的知道自己負(fù)責(zé)的資產(chǎn)元數(shù)據(jù)覆蓋、用戶使用情況
• 平臺(tái)提供方便的數(shù)據(jù)追蹤、溯源的功能，可以快速定位數(shù)據(jù)血緣

3.數(shù)據(jù)團(tuán)隊(duì)管理者

評(píng)價(jià)數(shù)據(jù)資產(chǎn)業(yè)務(wù)價(jià)值、數(shù)據(jù)對(duì)業(yè)務(wù)支撐或賦能效率，對(duì)數(shù)據(jù)開(kāi)發(fā)人員進(jìn)行量化考核。并對(duì)數(shù)據(jù)資產(chǎn)的健康度、數(shù)據(jù)成本進(jìn)行管控。

業(yè)務(wù)場(chǎng)景：

• 評(píng)價(jià)數(shù)據(jù)資產(chǎn)建設(shè)的到底怎么樣
• 數(shù)據(jù)人員工作量化考核
• 平臺(tái)健康度管控，降本增效

用戶：

• 數(shù)據(jù)開(kāi)發(fā)管理者
• 數(shù)據(jù)部門(mén)負(fù)責(zé)人

產(chǎn)品訴求：

• 能夠提供資產(chǎn)健康度評(píng)價(jià)的全面的指標(biāo)，如模型覆蓋度、復(fù)用度、元數(shù)據(jù)完善度、數(shù)據(jù)質(zhì)量等
• 資產(chǎn)責(zé)任人到人，可以量化考核每個(gè)數(shù)據(jù)開(kāi)發(fā)者的工作數(shù)量和質(zhì)量

三、數(shù)據(jù)地圖需要具備的數(shù)據(jù)資產(chǎn)管理能力

1.資產(chǎn)大盤(pán)

資產(chǎn)大盤(pán)按照不同角色的用戶，提供從總體到部門(mén)(租戶)以及個(gè)人的資產(chǎn)視圖，主要作用是客觀描述資產(chǎn)現(xiàn)狀，并且以健康度評(píng)價(jià)體系，提供資產(chǎn)建設(shè)優(yōu)化指引。主要服務(wù)于數(shù)據(jù)工作者及管理團(tuán)隊(duì)。例如：

• 資產(chǎn)數(shù)量：資產(chǎn)總數(shù)、新增數(shù)量、治理數(shù)量
• 資源消耗：存儲(chǔ)資源、生產(chǎn)消耗計(jì)算資源
• 健康度：元數(shù)據(jù)覆蓋度100%表占比、數(shù)據(jù)質(zhì)量異常數(shù)、高耗時(shí)任務(wù)及列表、跨層引用數(shù)、近90天無(wú)訪問(wèn)數(shù)
• 治理維度：治理資產(chǎn)數(shù)量、治理效果、待治理數(shù)量

圖：阿里數(shù)據(jù)地圖

2.數(shù)據(jù)探索

數(shù)據(jù)檢索方式包括基于業(yè)務(wù)域、主題、標(biāo)簽等層級(jí)篩選，表中英文、字段信息搜索，以及熱門(mén)推薦、個(gè)人收藏、數(shù)據(jù)專(zhuān)題等快捷方式。在實(shí)際應(yīng)用時(shí)，搜索功能是第一優(yōu)先級(jí)的，至少要先讓用戶能夠精準(zhǔn)觸達(dá)目標(biāo)。因?yàn)闃I(yè)務(wù)域劃分、主題標(biāo)簽維護(hù)很難做到?jīng)]有二義性，讓用戶可以順利篩選出目標(biāo)數(shù)據(jù)。表的元數(shù)據(jù)信息是指可以給找數(shù)據(jù)的用戶提高更加全面、準(zhǔn)確的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)等一系列的信息。包括：

• 基本信息：如表中英文名稱(chēng)、負(fù)責(zé)人、業(yè)務(wù)描述、字段中英文、分區(qū)字段、字段處理邏輯、業(yè)務(wù)域、主題、標(biāo)簽層級(jí)
• 數(shù)據(jù)預(yù)覽：提供示例數(shù)據(jù)預(yù)覽功能，可以快速查看字段內(nèi)容或結(jié)構(gòu)
• 產(chǎn)出信息：產(chǎn)出時(shí)間、任務(wù)耗時(shí)及趨勢(shì)、最后更新時(shí)間
• 數(shù)據(jù)血緣：數(shù)據(jù)表上下游，一鍵通知能力
• 數(shù)據(jù)質(zhì)量：數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則覆蓋、最新監(jiān)控結(jié)果是否正常
• 數(shù)據(jù)審計(jì)：表使用信息、變更記錄

圖：阿里數(shù)據(jù)地圖

3.資產(chǎn)管理

資產(chǎn)管理主要是面向資產(chǎn)創(chuàng)建者，對(duì)所負(fù)責(zé)的資產(chǎn)進(jìn)行業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)的維護(hù)及配置，對(duì)資產(chǎn)健康度負(fù)責(zé)。數(shù)據(jù)地圖需要的功能包括：

• 元數(shù)據(jù)信息維護(hù)：業(yè)務(wù)描述、字段描述、業(yè)務(wù)邏輯、審批流程配置
• 元數(shù)據(jù)更新：表結(jié)構(gòu)變更，如字段刪減、新增
• 批量配置：批量授權(quán)、批量修改主題、層級(jí);權(quán)限移交、復(fù)制
• 數(shù)據(jù)治理流程：主要建立和數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量等平臺(tái)的聯(lián)動(dòng)，做到跟進(jìn)用戶使用情況，快速跳轉(zhuǎn)至治理平臺(tái)，一鍵治理(歸檔、下線、刪除)

4.配置管理

提供業(yè)務(wù)域、數(shù)據(jù)層級(jí)、主題、標(biāo)簽配置，以及部門(mén)(租戶)公共參數(shù)配置能力，主要服務(wù)于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)資產(chǎn)管理員，負(fù)責(zé)資產(chǎn)層級(jí)、架構(gòu)以及創(chuàng)建流程規(guī)范的規(guī)劃。

5.個(gè)人工作臺(tái)

個(gè)人資產(chǎn)盤(pán)點(diǎn)，例如有權(quán)限的資產(chǎn)，是否有權(quán)限即將到期，需要進(jìn)行批量續(xù)期。自己負(fù)責(zé)的資產(chǎn)，用戶權(quán)限列表、資產(chǎn)使用分析。

代辦事項(xiàng)：數(shù)據(jù)資產(chǎn)管理要建立從上到下的管理和考核機(jī)制，否則資產(chǎn)創(chuàng)建時(shí)，為了圖快不進(jìn)行元數(shù)據(jù)信息維護(hù)，就必然會(huì)導(dǎo)致資產(chǎn)復(fù)用度低。資產(chǎn)大盤(pán)服務(wù)于資產(chǎn)管理者，提供不同維度的資產(chǎn)健康度評(píng)價(jià)指標(biāo)。而個(gè)人代辦則提供每個(gè)資產(chǎn)創(chuàng)建者，需要關(guān)注的優(yōu)化任務(wù)，例如元數(shù)據(jù)覆蓋不足100%，近XX天無(wú)訪問(wèn)，任務(wù)耗時(shí)長(zhǎng)，跨層引用等等。

四、總結(jié)

數(shù)據(jù)資產(chǎn)管理是提升企業(yè)數(shù)據(jù)復(fù)用度的重要數(shù)據(jù)產(chǎn)品之一，在產(chǎn)品規(guī)劃和設(shè)計(jì)時(shí)，需要從用戶需求場(chǎng)景以及產(chǎn)品目標(biāo)出發(fā)，提供更快速找到數(shù)據(jù)，以及更方便維護(hù)資產(chǎn)信息的能力，同時(shí)，為數(shù)據(jù)工作的量化考核以及開(kāi)發(fā)人員的工作改進(jìn)提供指引方向。阿里Dataworks、網(wǎng)易猛犸、火山引擎都提供了商業(yè)化的數(shù)據(jù)地圖產(chǎn)品解決方案可供參考。