大數(shù)據(jù)體系下的政務(wù)智能BI建設(shè)
強(qiáng)大的BI平臺(tái)技術(shù)及政務(wù)智能BI應(yīng)用,為政府行政管理和服務(wù)提供了新的工具和手段。具體怎么實(shí)現(xiàn)?這篇文章里,作者就總結(jié)了政務(wù)智能BI的建設(shè),一起來(lái)看看本文的梳理和拆解。
現(xiàn)代信息技術(shù)發(fā)展到今天,政務(wù)智能BI的應(yīng)用到政府的行政管理和公眾服務(wù)開(kāi)辟了信息技術(shù)的重要應(yīng)用領(lǐng)域,同時(shí)也為政府行政管理和服務(wù)提供了新的工具和手段。
政務(wù)活動(dòng)與數(shù)據(jù)治理技術(shù)的結(jié)合,一方面擴(kuò)大了智能BI行業(yè)的市場(chǎng),在新的需求下促進(jìn)智能BI不斷的往縱深的發(fā)展和完善;另一方面,采用強(qiáng)大的BI平臺(tái)技術(shù),大數(shù)據(jù)分析技術(shù),使行政管理和公眾服務(wù)增加了新的內(nèi)容,改變了行政方式,提高了行政效率。
一、BI平臺(tái)建設(shè)的背景
伴隨著政務(wù)信息化的發(fā)展,BI也也逐步成為政府辦公的標(biāo)配,在大數(shù)據(jù)、數(shù)據(jù)中臺(tái)的生態(tài)環(huán)境的加成下,政務(wù)BI平臺(tái)以大數(shù)據(jù)基礎(chǔ)為支撐,提供了便捷易用的數(shù)據(jù)可視化操作與靈活高效的多維分析能力。
下面我們先聊一下什么是政務(wù)BI,政務(wù)BI起源于商業(yè)BI,從技術(shù)層面來(lái)說(shuō),都是指使用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、OLAP在線分析處理技術(shù),數(shù)據(jù)挖掘和展現(xiàn)技術(shù)進(jìn)行數(shù)據(jù)的“采,存,管,用”,從而實(shí)現(xiàn)政務(wù)價(jià)值。
簡(jiǎn)單來(lái)說(shuō),政務(wù)BI也是一款數(shù)據(jù)工具,一款可以進(jìn)行數(shù)據(jù)分析并輸出分析成果的工具,或者說(shuō)是一套可以為政府領(lǐng)導(dǎo)實(shí)時(shí)查看信息,提供決策依據(jù)的數(shù)據(jù)分析解決方案。
如下本人項(xiàng)目的原型圖:
二、政務(wù)BI產(chǎn)品架構(gòu)設(shè)計(jì)
當(dāng)?shù)玫秸?wù)BI平臺(tái)建設(shè)項(xiàng)目的時(shí)候,首位接棒者就是數(shù)據(jù)產(chǎn)品經(jīng)理,其要做的工作和常規(guī)的產(chǎn)品設(shè)計(jì)工作類似,首先要進(jìn)行項(xiàng)目調(diào)研,對(duì)產(chǎn)品形態(tài)有大致的了解,進(jìn)而梳理產(chǎn)品使用流程,完成功能架構(gòu)設(shè)計(jì),由此確定產(chǎn)品的需求范圍和功能的邊界。
1)產(chǎn)品的使用流程
以用戶為切入點(diǎn),我們可將用戶分為內(nèi)容的加工者:使用BI平臺(tái)進(jìn)行數(shù)據(jù)處理,數(shù)據(jù)分析與可視化制作的人群(一般是供應(yīng)商或一線公務(wù)員);內(nèi)容使用者:查閱報(bào)表的人群(一般就是領(lǐng)導(dǎo)級(jí)別)。
2)產(chǎn)品的框架設(shè)計(jì)常見(jiàn)的框架設(shè)計(jì)方式有:
- 按照產(chǎn)品的功能模塊展開(kāi)設(shè)計(jì):如果產(chǎn)品相對(duì)獨(dú)立,或者對(duì)上下游的依賴關(guān)系清晰,可選用以產(chǎn)品的功能模塊為切入點(diǎn),進(jìn)行產(chǎn)品架構(gòu)設(shè)計(jì)。
- 按照產(chǎn)品的業(yè)務(wù)邏輯展開(kāi)設(shè)計(jì):如果產(chǎn)品與企業(yè)多個(gè)系統(tǒng)存在依賴關(guān)系與數(shù)據(jù)流轉(zhuǎn)關(guān)系,且系統(tǒng)角色復(fù)雜,可通過(guò)產(chǎn)品的業(yè)務(wù)邏輯來(lái)進(jìn)行產(chǎn)品架構(gòu)設(shè)計(jì),在設(shè)計(jì)前,需要補(bǔ)充各業(yè)務(wù)模塊的數(shù)據(jù)流轉(zhuǎn)邏輯和頁(yè)面交互。
三、政務(wù)BI產(chǎn)品功能詳解
需求實(shí)現(xiàn)的方式有很多,“條條大路通羅馬”,可供選擇的實(shí)現(xiàn)邏輯也有很多。一般而言,政務(wù)智能BI也可以以下方式實(shí)現(xiàn):
1. 數(shù)據(jù)的接入
如果要自上而下的講解BI產(chǎn)品架構(gòu),首先要說(shuō)的應(yīng)該是基礎(chǔ)服務(wù),不過(guò)基礎(chǔ)服務(wù)功能都是通用的,不管是商業(yè)BI,還是政務(wù)BI。所以這里從BI平臺(tái)使用的主流程開(kāi)始講:
數(shù)據(jù)接入,顧名思義就是把源數(shù)據(jù),外部數(shù)據(jù)接入BI平臺(tái),比如可以從Hadoop大數(shù)據(jù)平臺(tái)(可以看做是新一代的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)),政府其他部門(mén)的數(shù)據(jù)中臺(tái)等接入。
簡(jiǎn)單來(lái)說(shuō),政務(wù)BI平臺(tái)也一樣,使用適配的數(shù)據(jù)源類型有:
- 大數(shù)據(jù)平臺(tái):企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù),常用Hadoop大數(shù)據(jù)平臺(tái),如Hive等。
- 關(guān)系型數(shù)據(jù)庫(kù):可以通過(guò)JDBC接口實(shí)時(shí)訪問(wèn)的的數(shù)據(jù)庫(kù),如MySQL。
- 文本數(shù)據(jù)源:文本文件如Excel,CSV。
- API數(shù)據(jù)源:對(duì)外提供標(biāo)準(zhǔn)的API接口。
- 內(nèi)置數(shù)據(jù)源:內(nèi)置的無(wú)須用戶添加即可使用的數(shù)據(jù),如天氣數(shù)據(jù),人口數(shù)據(jù),移動(dòng)應(yīng)用數(shù)據(jù)等。
在進(jìn)行具體的功能設(shè)計(jì)時(shí),產(chǎn)品需要秉持“增刪改查空異常”的七字真言,這是產(chǎn)品設(shè)計(jì)最基礎(chǔ)最通用的設(shè)計(jì)準(zhǔn)則。
2. 數(shù)據(jù)的處理
通過(guò)對(duì)已接入數(shù)據(jù)源的數(shù)據(jù)表進(jìn)行二次計(jì)算等操作,創(chuàng)建新的數(shù)據(jù)集,以便進(jìn)行數(shù)據(jù)的篩選與清洗、數(shù)據(jù)的標(biāo)記、轉(zhuǎn)換等。
數(shù)據(jù)集,顧名思義就是數(shù)據(jù)的集合,就是一張張新的數(shù)據(jù)中間表。為了提高用戶的可視化分析取數(shù)的效率,政務(wù)BI平臺(tái)也會(huì)建設(shè)一個(gè)中間層(分布式數(shù)據(jù)庫(kù))存儲(chǔ)各類數(shù)據(jù)集,避免每次數(shù)據(jù)的調(diào)用都需要重新進(jìn)行底層的取數(shù)與計(jì)算。
大概可以分為以下3種方式:
1)數(shù)據(jù)表類:最直接最簡(jiǎn)單最常用的數(shù)據(jù)加工方式,從指定的數(shù)據(jù)源中選擇想要的獲取的數(shù)據(jù)表,進(jìn)行數(shù)據(jù)的抽取,保存操作即可。
2)SQL類:就是通過(guò)編寫(xiě)SQL語(yǔ)句的方式實(shí)現(xiàn)的,基本功能就是為用戶提供SQL語(yǔ)法的編寫(xiě)能力??梢詫?shí)現(xiàn)一些高級(jí)及有的深度的功能。
3)自助配置類:就是通過(guò)用戶界面操作數(shù)據(jù)集,自助配置類降低了數(shù)據(jù)的操作門(mén)檻,具體實(shí)現(xiàn)流程有:
- 數(shù)據(jù)的過(guò)濾:界面可視化進(jìn)行數(shù)據(jù)的過(guò)濾。
- 分組匯總:比如:需要根據(jù)某社區(qū)的居民明細(xì)表,統(tǒng)計(jì)該社區(qū)中各樓棟的住戶數(shù),起對(duì)應(yīng)的SQL語(yǔ)句是SELECT COUNT(*) FROM <表名> GROUP BY <樓棟字段>。
- 新增字段:新增字段屬于相對(duì)復(fù)雜的處理動(dòng)作,需要引入很多函數(shù)來(lái)實(shí)現(xiàn)多字段的二次計(jì)算。
- 多表合并:通過(guò)SQL語(yǔ)句進(jìn)行多表合并,主要是左右合并(JOIN操作)和上下合并(UNION操作)兩類,這也需要有一定的編程基礎(chǔ),理解JOIN和UNION是實(shí)現(xiàn)邏輯。
(這里再補(bǔ)充一下,產(chǎn)品經(jīng)理是必須要懂一定程度的編程技術(shù)的,編程世界的一些原理,概念其實(shí)都是來(lái)自于現(xiàn)實(shí)生活的高度抽象,改變世界的其實(shí)一直都是技術(shù)而不是產(chǎn)品,哈哈)
3. 可視化分析
前面說(shuō)BI平臺(tái)的內(nèi)容生產(chǎn)流程時(shí),我們說(shuō)到從數(shù)據(jù)源到數(shù)據(jù)集的生產(chǎn)過(guò)程,對(duì)應(yīng)著上文的數(shù)據(jù)接入與數(shù)據(jù)處理,而從數(shù)據(jù)集到圖表,再到儀表板(Dashboard),就是數(shù)據(jù)可視化應(yīng)用的過(guò)程了。
在日常的工作中,業(yè)務(wù)分析人員使用BI平臺(tái)進(jìn)行OLAP操作,并將數(shù)據(jù)分析的內(nèi)容分發(fā)給其他人,就產(chǎn)生了報(bào)表或者數(shù)據(jù)大屏的展現(xiàn)效果。然后,將圖表(組件)抽離出來(lái),作為一個(gè)獨(dú)立的模塊,在創(chuàng)建儀表板時(shí),業(yè)務(wù)優(yōu)先創(chuàng)建圖表,然后再將多個(gè)圖表組裝成儀表板,最終就可以形成一份份有價(jià)值的數(shù)據(jù)可視化。具體為:
- 數(shù)據(jù)加工分析:還應(yīng)根據(jù)實(shí)際需要進(jìn)行一些臨時(shí)的數(shù)據(jù)加工,如新增同比環(huán)比,設(shè)置維度與設(shè)置指標(biāo)
- 圖表設(shè)置:目前基本的圖表類型有卡片、表格、折線圖、柱狀圖、餅圖與漏斗圖等,復(fù)雜的圖表類型有熱力圖、樹(shù)形圖等等,百度的Apache ECharts 是目前國(guó)內(nèi)應(yīng)用最廣,能力最全面的開(kāi)源可視化圖表庫(kù),大家可以參考一下。
- 儀表板設(shè)置:包括過(guò)濾條件的設(shè)置,可實(shí)現(xiàn)數(shù)據(jù)的穿透與交叉分析。圖表聯(lián)動(dòng)的設(shè)置,當(dāng)篩選某個(gè)字段時(shí),其他關(guān)聯(lián)數(shù)據(jù)可以聯(lián)動(dòng)的切換。
這些常規(guī)的操作,我們?cè)谠O(shè)計(jì)可視化的時(shí)候就要考慮好~~~~~~~~
4. 內(nèi)容分發(fā)
內(nèi)容分發(fā),顧名思義就是把內(nèi)容分發(fā)給用戶。BI平臺(tái)常用的內(nèi)容分發(fā)渠道包括BI報(bào)表查看平臺(tái)(PC)、移動(dòng)BI(App)、數(shù)據(jù)大屏、郵件分發(fā)、URL分發(fā)與嵌入分發(fā)等。
報(bào)表數(shù)據(jù)的權(quán)限如何控制?如何實(shí)現(xiàn)權(quán)限的自動(dòng)增刪?不同的場(chǎng)景應(yīng)用下如何拆分問(wèn)題?
大致可以下方式去解決:
- 用戶:拆分用戶主體下的最小單元,選擇用戶,選擇報(bào)表,設(shè)置數(shù)據(jù)權(quán)限,從而完成報(bào)表分發(fā)。
- 報(bào)表:拆分報(bào)表主體下的最小單元,選擇報(bào)表,設(shè)置數(shù)據(jù)權(quán)限,選擇用戶,從而完成報(bào)表分發(fā)。
四、更加靈活的移動(dòng)政務(wù)BI
1. 內(nèi)容分發(fā)的窗口
一把手、二把手可以查看所管轄區(qū)域關(guān)鍵經(jīng)濟(jì)運(yùn)行數(shù)據(jù),人口數(shù)據(jù)等;發(fā)改委可以查看城市更新數(shù)據(jù),舊村改造數(shù)據(jù)等;教育局可以查看當(dāng)?shù)氐慕逃Y源分配,就業(yè)情況等;交通局可以查看城市交通運(yùn)行情況……這些信息很多時(shí)候是需要實(shí)時(shí)查看的,那就要有實(shí)時(shí)統(tǒng)計(jì),并展現(xiàn)的載體:
本人推薦三種移動(dòng)端信息架構(gòu)形式:列表、網(wǎng)格、輪播(比如帆軟FineReport支持的報(bào)表嵌入其他應(yīng)用等)
2. 數(shù)據(jù)分析的工具
我們需要結(jié)合業(yè)務(wù)需求對(duì)底層數(shù)據(jù)進(jìn)行萃取,選取常用的指標(biāo)與維度抽象成指標(biāo)庫(kù)和維度庫(kù),作為移動(dòng)BI用戶數(shù)據(jù)分析的原材料。
1)指標(biāo)庫(kù)-數(shù)據(jù)萃取
主要包括指標(biāo)的查看與申請(qǐng)、指標(biāo)的維護(hù),指標(biāo)的分組管理、指標(biāo)的說(shuō)明等等
2)維度庫(kù)-權(quán)限的管控
舉例,我們?yōu)槟呈泄茌犗履硡^(qū)發(fā)改委分配“全區(qū)工業(yè)投資總額”數(shù)據(jù)時(shí),在為其分配“全區(qū)工業(yè)投資總額”這個(gè)指標(biāo)的同時(shí),還需要限制維度為“全市”還是“全市下的某區(qū)”,以避免數(shù)據(jù)權(quán)限外溢,因此,維度管理是權(quán)限管控的最直接手段。
3)數(shù)據(jù)分析-樂(lè)高模式
數(shù)據(jù)分析的操作流程簡(jiǎn)單來(lái)說(shuō)就是選擇有利于數(shù)據(jù)可視化展示的圖形,選取指標(biāo)和設(shè)置維度3大步驟,具體來(lái)說(shuō)就是將功能拆分成一個(gè)個(gè)“樂(lè)高”部件,用戶可以按照自身的需要組裝成各自的“樂(lè)高城堡”,最終達(dá)到自己想要的效果。
五、政務(wù)智能BI總結(jié)
隨著政府與公共部門(mén)各級(jí)決策者對(duì)經(jīng)濟(jì)發(fā)展、城市管理、社會(huì)民生、治安、交通、教育、衛(wèi)生等問(wèn)題的日益重視,迫切需要建設(shè)一個(gè)涵蓋各業(yè)務(wù)數(shù)據(jù)統(tǒng)計(jì)等于一體的BI數(shù)據(jù)分析平臺(tái),方便市政府各級(jí)決策者快速掌握相關(guān)情況、處理相關(guān)事務(wù)。
不管是PC端,移動(dòng)端,還是大屏端,政務(wù)智能BI都不僅僅是數(shù)據(jù)分析的工具,它們輸出的是政府決策輔助的服務(wù)能力,是為了讓數(shù)據(jù)產(chǎn)生更多的行政、施政業(yè)務(wù)價(jià)值。
從傳統(tǒng)的BI到敏捷商業(yè)BI,再到如今大數(shù)據(jù)體系下的政務(wù)智能BI,BI平臺(tái)與政府業(yè)務(wù)越來(lái)越融合。BI平臺(tái)對(duì)于數(shù)據(jù)資源管理的方案優(yōu)勢(shì),提升了其獲取底層數(shù)據(jù)的能力,這讓數(shù)據(jù)對(duì)政府業(yè)務(wù)場(chǎng)景的描述越來(lái)越豐滿,政務(wù)智能BI具備的更強(qiáng)的處理具體政務(wù)業(yè)務(wù)場(chǎng)景的能力。
本文由 @短劍在閑逛 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自 Unsplash,基于 CC0 協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
非常棒
收益匪淺,請(qǐng)問(wèn)一下,可以分享一下原型界面嗎?
收益匪淺,請(qǐng)問(wèn)一下,可以分享一下原型界面嗎?