小奈：表哥，為什么瀏覽器好像什么都知道的？我只是剛剛搜了下感冒怎么治，現(xiàn)在就彈出xx醫(yī)院廣告了。

大仁：當(dāng)xx公司有了海量的數(shù)據(jù)，再根據(jù)這些數(shù)據(jù)進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)（廣告），他們每年都可以?huà)暌淮蠊P廣告費(fèi)。

大仁：廣告雖然令人厭惡，但是數(shù)據(jù)推薦還是必要的，尤其是在信息大爆炸的時(shí)代，讓信息更精準(zhǔn)的出現(xiàn)在你手里。

DBA

小奈：表哥，公司最近好像在招聘DBA(數(shù)據(jù)庫(kù)管理員)，后端工程師不就可以管理數(shù)據(jù)庫(kù)的么？數(shù)據(jù)庫(kù)和后端有什么區(qū)別？數(shù)據(jù)庫(kù)又是什么呢？

大仁：看來(lái)你們公司是大公司喔，一般小公司沒(méi)有dba的崗位。

其實(shí)我們常說(shuō)的后端工程師，他們也設(shè)計(jì)和管理數(shù)據(jù)庫(kù)。但是如果數(shù)據(jù)到了一定量級(jí)，數(shù)據(jù)庫(kù)性能調(diào)優(yōu)、安全穩(wěn)定就需要專(zhuān)業(yè)的dba。

數(shù)據(jù)庫(kù)是什么？

大數(shù)據(jù)背后的一塊塊基石，則是數(shù)據(jù)庫(kù)。

數(shù)據(jù)庫(kù)背后有好多故事，你可能不知道數(shù)據(jù)庫(kù)，但是最近火的不行區(qū)塊鏈，其實(shí)就是去中心化的分布式數(shù)據(jù)庫(kù)。

說(shuō)完高大上的區(qū)塊鏈，我們開(kāi)始回溯數(shù)據(jù)庫(kù)的發(fā)展吧：

文件&文件系統(tǒng)

最開(kāi)始是計(jì)算機(jī)的出現(xiàn)，那時(shí)候沒(méi)有硬盤(pán)，只有內(nèi)存，數(shù)據(jù)不會(huì)進(jìn)行存儲(chǔ)，一般只用于科技計(jì)算，計(jì)算完輸出結(jié)果后，程序就撤出內(nèi)存了。

后來(lái)技術(shù)發(fā)展，才有了硬盤(pán)、文件，在文件的基礎(chǔ)上有了文件系統(tǒng)。文件系統(tǒng)可以滿(mǎn)足數(shù)據(jù)存放和查找的需求。

數(shù)據(jù)庫(kù)的誕生

文件系統(tǒng)作為數(shù)據(jù)庫(kù)用了一段時(shí)間，當(dāng)數(shù)據(jù)越來(lái)越多、規(guī)模越來(lái)越大后，數(shù)據(jù)查找特別麻煩。數(shù)據(jù)很容易重復(fù)（冗余）、占用存儲(chǔ)空間多，數(shù)據(jù)結(jié)構(gòu)化被迫推進(jìn)。

文件系統(tǒng)和數(shù)據(jù)庫(kù)的主要區(qū)別是？

簡(jiǎn)單舉個(gè)例子，如圖所示。

我們理解的數(shù)據(jù)和文件比較接近，例如文件1存放了玩具狗的數(shù)據(jù)，文件2存放了系鈴鐺的狗的數(shù)據(jù)。但其實(shí)玩具狗、玩具貓都是玩具，鈴鐺和玩具是可以拆分的。

數(shù)據(jù)庫(kù)的結(jié)構(gòu)化（玩具庫(kù)架子），讓數(shù)據(jù)不會(huì)重復(fù)，玩具狗可以系鈴鐺，也可以不系。

關(guān)系型數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)出現(xiàn)后，慢慢演化出關(guān)系型數(shù)據(jù)庫(kù)，之后又演化成非關(guān)系型數(shù)據(jù)庫(kù)。

我們首先介紹關(guān)系型數(shù)據(jù)庫(kù)，什么是關(guān)系型數(shù)據(jù)庫(kù)？

關(guān)系數(shù)據(jù)就是指數(shù)據(jù)之間是有關(guān)系的。像是上圖中系鈴鐺的玩具狗，鈴鐺是屬于（系在）玩具狗，那我把鈴鐺取下來(lái)放到玩具貓上可以么？可以，那關(guān)系就變了，鈴鐺在數(shù)據(jù)庫(kù)里的記錄變更為屬于貓。

其實(shí)數(shù)據(jù)庫(kù)有個(gè)（存儲(chǔ)的關(guān)系規(guī)范）數(shù)據(jù)庫(kù)范式，第一范式到到第五范式。玩具狗與鈴鐺的拆分只是滿(mǎn)足了第一范式，越往下數(shù)據(jù)的壓縮率就越高，相應(yīng)的存儲(chǔ)也會(huì)變慢（需要關(guān)系范式驗(yàn)證）。

數(shù)據(jù)庫(kù)的除了是結(jié)構(gòu)化存儲(chǔ)、它還可以共享給程序訪(fǎng)問(wèn)。文件系統(tǒng)時(shí)候，程序a讀取文件1（小明的玩具），數(shù)據(jù)庫(kù)時(shí)代，所有程序只要有權(quán)限就可以訪(fǎng)問(wèn)所有數(shù)據(jù)庫(kù)里的數(shù)據(jù)（大家的玩具共享）。

數(shù)據(jù)表長(zhǎng)什么樣

數(shù)據(jù)：例如玩具狗，他的各個(gè)字段：玩具名稱(chēng)、是否有耳朵、多少條腿等等，玩具狗的所有信息算是一條數(shù)據(jù)。

數(shù)據(jù)表：玩具表就像一個(gè)excel表格，里面存了所有玩具的數(shù)據(jù)。

手機(jī)數(shù)據(jù)庫(kù)：sqlite

網(wǎng)頁(yè)和app的區(qū)別大家也都知道了，手機(jī)里有數(shù)據(jù)庫(kù)，手機(jī)app的數(shù)據(jù)庫(kù)和沙河一樣，每個(gè)app都有自己倉(cāng)庫(kù)。

redis、memcache

不知道大家看視頻的時(shí)候，是否喜歡快進(jìn)，或者回放。

視頻文件=幾十萬(wàn)張圖片（簡(jiǎn)單約等于），圖片文件非常多。如果經(jīng)常要重復(fù)從數(shù)據(jù)庫(kù)中取出相同的數(shù)據(jù)，這種重復(fù)極大的增加了數(shù)據(jù)庫(kù)負(fù)載。緩存是解決這個(gè)問(wèn)題的好辦法。

瀏覽器中的雖然已經(jīng)可以實(shí)現(xiàn)對(duì)頁(yè)面局部進(jìn)行緩存，但還是不夠靈活，主要是視頻文件。此時(shí)Memcached或許是你想要的，當(dāng)你看一個(gè)視頻來(lái)回拉動(dòng)進(jìn)度的時(shí)候，本地緩存很重要。

nosql

隨著經(jīng)濟(jì)發(fā)展，村里小孩越來(lái)越多了（云計(jì)算的到來(lái)），玩具廠(chǎng)每年生產(chǎn)的玩具也多了。一個(gè)玩具庫(kù)（單機(jī)）不夠用了，所以要多建立幾個(gè)公共玩具庫(kù)，玩具存放在不同的玩具庫(kù)（多臺(tái)計(jì)算機(jī)）。

為了滿(mǎn)足數(shù)據(jù)爆發(fā)式增長(zhǎng)的存儲(chǔ)需求，數(shù)據(jù)庫(kù)部署在多臺(tái)計(jì)算機(jī)上，也就是分布式數(shù)據(jù)庫(kù)，但是分布式和單機(jī)不同的地方在于關(guān)系嚴(yán)格性上，分布式要求數(shù)據(jù)關(guān)系不那么嚴(yán)格（半結(jié)構(gòu)化），主要是擴(kuò)容和大數(shù)據(jù)存儲(chǔ)，所以Nosql（not only sql）就誕生了。

常見(jiàn)的Nosql有mongodb、hbase等，這里以mongodb為例。

數(shù)據(jù)庫(kù)連接

var mongoose = require(‘mongoose’)
var db = ‘mongodb://127.0.0.1/test’;
mongoose.connect(db, {
server: { poolSize: 20 }
}, function (err) {
if (err) {
console.log(‘connect to %s error:’, db, err.message)
process.exit(1)
} else {
console.log(‘connected’)
}
})

增刪改查

var UserSchema = new Schema({
name: { type: String},
phone: { type: Number}
})
var User = mongoose.model(‘User’, UserSchema);
//create 增加
var user1 = new User();
user1.name = ‘jack1’;
user1.phone = 123456;
user1.save(function (err) {
if (err) {
console.log(err.message)
}
})
var user2 = new User();
user2.name = ‘jack2’;
user2.phone = 234567;
user2.save(function (err) {
if (err) {
console.log(err.message)
}
})
//查找
User.find(function (err, users) {
if (err) {
return console.error(err)
}else {
console.log(users)
}
})

分布式vs集群

很多人可能會(huì)混淆分布式和集群的概念，分布式更像是業(yè)務(wù)拆分到不同服務(wù)器上，集群則是多臺(tái)服務(wù)器一起處理同個(gè)業(yè)務(wù)。比較復(fù)雜，后續(xù)再解釋。

數(shù)據(jù)庫(kù)圖鑒

目前市面上常見(jiàn)的數(shù)據(jù)庫(kù)品牌，主要有關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù)兩種。計(jì)算機(jī)世界發(fā)展快速，數(shù)據(jù)庫(kù)就像一個(gè)大生態(tài)，愈發(fā)多態(tài)化多樣化。

• 關(guān)系型：Oracle、mysql、Postgresql
• nosql: mongodb、hbase

區(qū)塊鏈：去中心化的分布式數(shù)據(jù)庫(kù)

回到區(qū)塊鏈，大數(shù)據(jù)時(shí)代無(wú)隱私，區(qū)塊鏈的去中心化能否保護(hù)隱私？

首先得介紹下去中心化，那么中心化又是什么？中心化就是我們常見(jiàn)的通訊模型，客戶(hù)端需要以服務(wù)器獲取數(shù)據(jù)（服務(wù)端和數(shù)據(jù)庫(kù)交互），上次我們也講過(guò) 輸入url 后發(fā)生的事情，如果兩個(gè)客戶(hù)端之間互相知道彼此的地址，他們可以直接建立通訊。

p2p技術(shù)常用于資源共享、音視頻等。

區(qū)塊鏈本質(zhì)上是一種去中心化的分布式數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)是由一串使用密碼學(xué)方法產(chǎn)生的數(shù)據(jù)區(qū)塊按時(shí)間順序有序連接而成，每個(gè)數(shù)據(jù)塊中包含了一段時(shí)間內(nèi)的全網(wǎng)產(chǎn)生的無(wú)法篡改的數(shù)據(jù)記錄信息。

區(qū)塊鏈技術(shù)讓我們的隱私得到了一定程度上的保護(hù)。

失控

最后引用下凱文*凱里在《失控》里的一段話(huà):

沒(méi)有強(qiáng)制性的中心控制，次級(jí)單位具有資質(zhì)的性質(zhì)：次級(jí)單位之間批次高度連接，點(diǎn)對(duì)點(diǎn)間的影響通過(guò)網(wǎng)絡(luò)形成了非線(xiàn)性因果關(guān)系。

計(jì)算機(jī)的高速發(fā)展，數(shù)據(jù)庫(kù)不斷進(jìn)化，大數(shù)據(jù)越來(lái)越精確化，越來(lái)越智能，但用戶(hù)也需要隱私，區(qū)塊鏈這種去中心化、自組織的形態(tài)會(huì)不會(huì)成為新趨勢(shì)？··

競(jìng)品數(shù)據(jù)如何找？

小奈：表哥，競(jìng)品分析、競(jìng)品數(shù)據(jù)如何找？

大仁：你可以找你們的數(shù)據(jù)產(chǎn)品經(jīng)理啊，常見(jiàn)數(shù)據(jù)來(lái)源如下：

• 搜索指數(shù)
• TBI騰訊指數(shù)?http://tbi.tencent.com/
• 微信指數(shù)
• 360指數(shù)?https://index.so.com/
• 搜狗指數(shù)?http://index.sogou.com/
• 百度指數(shù)?http://index.baidu.com/
• Questmobile?http://www.questmobile.com.cn/blog.html
• 易觀千帆?https://qianfan.analysys.cn/
• 199it?http://www.199it.com/

艾瑞咨詢(xún)?http://data.iresearch.com.cn/

• TalkingData?http://mi.talkingdata.com/
• 七麥?https://www.qimai.cn/
• 酷傳?http://www.kuchuan.com/
• 上市公司的財(cái)報(bào)?http://www.hkexnews.hk/https://www.sec.gov/

小奈：我們公司沒(méi)有數(shù)據(jù)產(chǎn)品經(jīng)理喔。

大仁：這，那你也可以自己試試啊。

小奈：我不會(huì)啊，我現(xiàn)在想要一個(gè)xx無(wú)人貨架的城市分布圖，要怎么做？

大仁：我示范下，xx無(wú)人貨架官網(wǎng)好像有城市bd招聘信息喔，我把這些城市都錄入到excel，再生成經(jīng)緯度，然后就可以了，看下效果。

（可用python也可用數(shù)據(jù)分析平臺(tái)）

商家、顧客和優(yōu)惠券

小奈：數(shù)據(jù)產(chǎn)品經(jīng)理好像挺神奇的耶。

大仁：是啊，你們公司是電商的對(duì)吧，假如你們老板要你們提高凈利潤(rùn)（現(xiàn)有系統(tǒng)基礎(chǔ)上），你們會(huì)怎么做？

來(lái)看下數(shù)據(jù)產(chǎn)品經(jīng)理怎么做：

假設(shè)一瓶牛奶成本3元，定價(jià)6元時(shí)，50人會(huì)接受此價(jià)格。定價(jià)10元時(shí)，有30人會(huì)接受此價(jià)格，前者利潤(rùn)為（6-3）×50=150元，后者利潤(rùn)為（10-3）×30=210元。

但商家不想放棄另外20個(gè)支付意愿較低的消費(fèi)者，于是決定用4元優(yōu)惠券來(lái)吸引他們，同時(shí)對(duì)剩下那30個(gè)對(duì)價(jià)格不敏感的消費(fèi)者依然維持10元的原價(jià)銷(xiāo)售。

通過(guò)用戶(hù)畫(huà)像、優(yōu)惠券來(lái)提高銷(xiāo)售利潤(rùn)，這就是數(shù)據(jù)產(chǎn)品經(jīng)理干的事之一，如何才能做到呢？

首先得有自己的BI系統(tǒng)，或者說(shuō)得有用戶(hù)畫(huà)像。

什么是用戶(hù)畫(huà)像呢？

有了用戶(hù)畫(huà)像，知道哪些用戶(hù)對(duì)價(jià)格不敏感，哪些用戶(hù)不反感車(chē)的廣告，再進(jìn)行推送，大大提高轉(zhuǎn)化率，凈利潤(rùn)得到有效增長(zhǎng)。

那么用戶(hù)標(biāo)簽體系該如何搭建？

業(yè)務(wù)需求促進(jìn)標(biāo)簽體系建立，具體從老板戰(zhàn)略目標(biāo)、功能、業(yè)務(wù)。

數(shù)據(jù)產(chǎn)品經(jīng)理需要結(jié)合業(yè)務(wù)建立標(biāo)簽體系，背后真正的分析工作則由數(shù)據(jù)分析師來(lái)，數(shù)據(jù)分析該如何入門(mén)呢？

數(shù)據(jù)分析

數(shù)據(jù)分析可由數(shù)據(jù)產(chǎn)品經(jīng)理+數(shù)據(jù)分析師一起完成，也可以數(shù)據(jù)產(chǎn)品經(jīng)理+數(shù)據(jù)分析平臺(tái)（bdp、神策等）。數(shù)據(jù)分析該如何入門(mén)和培養(yǎng)意識(shí)呢？

數(shù)據(jù)分析基礎(chǔ)

想學(xué)習(xí)數(shù)據(jù)分析的同學(xué)不妨先從Excel開(kāi)始，從熟悉excel的函數(shù)開(kāi)始，掌握一些統(tǒng)計(jì)學(xué)基礎(chǔ)。

• 均值：平均值, =AVERAGE(B2:B19),B2:B19為數(shù)據(jù)范圍；
• 中位數(shù)：先將數(shù)據(jù)升序排列，若為數(shù)據(jù)個(gè)數(shù)為單數(shù)，則為中間那個(gè)數(shù)，若為偶數(shù)，則為取中間兩個(gè)數(shù)據(jù)的平均值，=MEDIAN(B2:B19)；
• 眾數(shù)：出現(xiàn)次數(shù)最多的數(shù)，=MODE(B2:B19)；
• 方差：用來(lái)計(jì)算每一個(gè)變量（觀察值）與總體均數(shù)之間的差異，=VAR(B2:B19)
• 標(biāo)準(zhǔn)差：方差開(kāi)根號(hào)后為標(biāo)準(zhǔn)差，用于評(píng)估數(shù)據(jù)穩(wěn)定性，=STDEV.S(B2:B19)
• 標(biāo)準(zhǔn)誤差：是描述對(duì)應(yīng)的樣本統(tǒng)計(jì)量抽樣分布的離散程度及衡量對(duì)應(yīng)樣本統(tǒng)計(jì)量抽樣誤差，=STDEV(B2:B19)/SQRT(COUNTA(B2:B19))
• 最大值：=MAX(B2:B19)
• 最小值： =MIN(B2:B19)
• 峰度：=KURT(B2:B19)
• 偏度：=SKEW(B2:B19)

心理學(xué)

數(shù)據(jù)分析要結(jié)合心理。

大數(shù)據(jù)“殺熟”？

微博網(wǎng)友“x師傅”講述，他經(jīng)常通過(guò)某旅行服務(wù)網(wǎng)站訂某個(gè)特定價(jià)格酒店的房間，長(zhǎng)年價(jià)格在380元到400元左右。
偶然一次，通過(guò)前臺(tái)他了解到，淡季的價(jià)格在300元上下。他用朋友的賬號(hào)查詢(xún)后發(fā)現(xiàn)，果然是300元；但用自己的賬號(hào)去查，還是380元。

相信不同的人看完故事有不同的理解，從數(shù)據(jù)運(yùn)營(yíng)角度 可以看出用戶(hù)分層、用戶(hù)畫(huà)像（標(biāo)簽化）、消費(fèi)心理分析（優(yōu)惠券能給用戶(hù)占便宜的錯(cuò)覺(jué)）等的重要性；從用戶(hù)角度可以發(fā)現(xiàn)生活處處有套路。

在我看來(lái)，技術(shù)的發(fā)展終會(huì)回歸到善與惡的哲學(xué)問(wèn)題。

作者：Jack，新零售數(shù)據(jù)PM，公眾號(hào)：產(chǎn)品經(jīng)理的技術(shù)課堂

本文由 @Jack 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自 Unsplash ，基于 CC0 協(xié)議