本文通過示例的方法幫助讀者入門機(jī)器學(xué)習(xí)算法，希望你能夠從中有所啟發(fā)和收獲。

在生活中，我們會依靠經(jīng)驗來處理大量的事情，而形成經(jīng)驗就需要通過大量的實踐，總結(jié)出事物的重要特征和結(jié)果之間的規(guī)律。

比如，我們經(jīng)常會去超市，在選購水果時，會通過顏色、形狀等特征對水果口味進(jìn)行預(yù)判。那么，我們是怎樣具備的這種預(yù)判經(jīng)驗?zāi)?？正是由于我們在生活中品嘗水果時，不斷積累與發(fā)現(xiàn)的水果的顏色、形狀等特征與口味之間的對應(yīng)規(guī)律，例如全紅色的蘋果會比半青色半紅色的要甜一些。

同樣，為了能夠更好的完成工作，我們也需要不斷從實踐中總結(jié)各種業(yè)務(wù)規(guī)律。例如，在電商平臺的用戶購物場景中，為了能夠增加用戶的購買金額，運營人員需要設(shè)置為用戶推薦的關(guān)聯(lián)購買商品。

此時，為了使推薦出的商品得到最大的轉(zhuǎn)化率，需要運營人員分析歷史訂單數(shù)據(jù)，從中找出商品關(guān)聯(lián)購買的規(guī)律。但是，人工尋找并分析出每一個商品的關(guān)聯(lián)規(guī)律，并不是一件容易的事情，需要消耗大量的時間與人力。并且隨著商品不斷推出新款，市場中商品流行趨勢的變化等因素影響，已經(jīng)形成的規(guī)律也需要不斷進(jìn)行及時的調(diào)整更新。

那有沒有辦法，讓計算機(jī)為我們做類似這樣的總結(jié)規(guī)律的工作呢？這個答案正是機(jī)器學(xué)習(xí)技術(shù)。

1、機(jī)器學(xué)習(xí)是什么？

可以將機(jī)器學(xué)習(xí)理解為：讓機(jī)器從大量的數(shù)據(jù)中自行尋找潛在規(guī)律，并應(yīng)用此規(guī)律來識別或預(yù)測新的數(shù)據(jù)。機(jī)器學(xué)習(xí)所取得的成果稱為模型，這個模型類似于傳統(tǒng)產(chǎn)品開發(fā)出的后臺服務(wù)程序，在實際使用中也是通過前端程序獲取輸入數(shù)據(jù)，經(jīng)過模型處理后輸出結(jié)果。只不過，研發(fā)這個模型的過程變化了。

研發(fā)模型并不是通過研發(fā)工程師編寫而成，也不需要提供嚴(yán)密的業(yè)務(wù)邏輯與判斷流程文檔，而是通過訓(xùn)練機(jī)器學(xué)習(xí)模型完成。

圖1 機(jī)器學(xué)習(xí)模型

在開始訓(xùn)練機(jī)器模型前，必須先為模型準(zhǔn)備一個唯一的任務(wù)目標(biāo)，因為一個模型只能完成一個任務(wù)目標(biāo)。然后進(jìn)入訓(xùn)練機(jī)器學(xué)習(xí)模型的三個步驟，如圖1。

第一步，根據(jù)任務(wù)目標(biāo)確定算法。關(guān)于算法方面，最為主要的算法類型有分類算法、回歸算法和聚類算法等。不同的算法類型可以解決不同的業(yè)務(wù)問題，例如：分類算法可以識別或預(yù)測分類類型；回歸算法可以預(yù)測連續(xù)型數(shù)值，這里所說的連續(xù)型數(shù)值是指包含若干位小數(shù)且取值密集的數(shù)值；聚類可以挖掘出不同數(shù)據(jù)的分組關(guān)系，從而可以用于數(shù)據(jù)分析與知識發(fā)現(xiàn)。

算法類型下會很多種有不同的具體算法。例如分類算法下會有K鄰近、樸素貝葉斯、隨機(jī)森林等，不同的算法在完成同一的任務(wù)目標(biāo)的訓(xùn)練和應(yīng)用時，會體現(xiàn)出不同的特性。這里所說的特性，包括訓(xùn)練與應(yīng)用需要消耗的計算資源/存儲資源、應(yīng)用的準(zhǔn)確性等方面。

第二步，根據(jù)算法的學(xué)習(xí)方式準(zhǔn)備好數(shù)據(jù)。這里所說的學(xué)習(xí)方式主要有三類：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。但在講解學(xué)習(xí)方式之前，需要先了解幾個概念：

• 訓(xùn)練樣本是指為訓(xùn)練機(jī)器學(xué)習(xí)模型所需要準(zhǔn)備的數(shù)據(jù)，這里的數(shù)據(jù)可以是圖片、文本或是表格數(shù)據(jù)等。如圖2，是預(yù)測芒果口味的訓(xùn)練樣本數(shù)據(jù)。
• 特征就是樣本數(shù)據(jù)的屬性，如圖2中包含兩個特征[顏色、大小]。這里需要強(qiáng)調(diào)的是，在機(jī)器學(xué)習(xí)過程中，選擇特征是一項非常重要的工作，通常是由在目標(biāo)業(yè)務(wù)領(lǐng)域中有較多經(jīng)驗的人參與，并且過程中需要發(fā)揮很多智力行為。因為特征選擇的好壞直接決定最終模型的好壞。例如上面的案例中，如果增加包裝類型的屬性，也許就與芒果口味的關(guān)系不大了。類似增加這種無關(guān)或相關(guān)性非常低的特征，不但需要投入更多的計算資源，而且還可能對訓(xùn)練的模型產(chǎn)生干擾。
• 特征值就是樣本數(shù)據(jù)對應(yīng)特征的參數(shù)值。
• 標(biāo)記可以理解為樣本數(shù)據(jù)的結(jié)果，是機(jī)器學(xué)習(xí)模型將要預(yù)測的目標(biāo)數(shù)據(jù)。如圖2，口味便是標(biāo)記項。

圖2 樣本數(shù)據(jù)

接下來講解三種學(xué)習(xí)方式，這三種方式的區(qū)別在于訓(xùn)練樣本中是否會包含標(biāo)記值。

有監(jiān)督學(xué)習(xí)是指訓(xùn)練樣本中的所有樣本數(shù)據(jù)都包含標(biāo)記值的學(xué)習(xí)方式。這種方式將學(xué)習(xí)到特征值與標(biāo)記值之間的對應(yīng)規(guī)律。在很多情況下，樣本數(shù)據(jù)的標(biāo)記值是由人工標(biāo)記的，例如在準(zhǔn)備語音識別訓(xùn)練樣本時，是由人工標(biāo)記的文本信息。因此也不難看出，為了得到帶有標(biāo)記值的樣本數(shù)據(jù)，是需要付出大量的人工處理工作。

無監(jiān)督學(xué)習(xí)是指訓(xùn)練樣本中的所有樣本數(shù)據(jù)都不包含標(biāo)記值的學(xué)習(xí)方式。當(dāng)需要了解一組數(shù)據(jù)存在的分組關(guān)系時，便可以用到無監(jiān)督學(xué)習(xí)。

半監(jiān)督學(xué)習(xí)是指訓(xùn)練樣本中只有部分樣本數(shù)據(jù)包含標(biāo)記值的學(xué)習(xí)方式。當(dāng)沒有足夠人力標(biāo)記所有的樣本數(shù)據(jù)，并且稍稍降低對模型預(yù)測精度的要求時，便可以使用半監(jiān)督學(xué)習(xí)。相比無監(jiān)督學(xué)習(xí)會有較高的精度，相比有監(jiān)督學(xué)習(xí)可以大幅降低人工標(biāo)記成本。例如，在擁有上百萬篇文章資訊類的網(wǎng)站中進(jìn)行文章分類標(biāo)記，便可以采用半監(jiān)督學(xué)習(xí)，只需要對訓(xùn)練樣本進(jìn)行少量的人工標(biāo)注處理，便可以得到較高精度的分類結(jié)果。

第三步，使用訓(xùn)練樣本數(shù)據(jù)與算法進(jìn)行模型的訓(xùn)練。本步驟首先需要由AI工程師進(jìn)行算法的參數(shù)設(shè)置。之后進(jìn)入機(jī)器自我訓(xùn)練的過程，該過程可能會需要很長時間，甚至是幾天時間。

這個步驟需要注意三點：

• 第一，由于機(jī)器學(xué)習(xí)算法執(zhí)行過程具有一定的隨機(jī)性，在保持算法、數(shù)據(jù)與算法參數(shù)不變的情況下，多次運行機(jī)器學(xué)習(xí)訓(xùn)練后得到的結(jié)果可能不相同；
• 第二，為了能夠訓(xùn)練出較高性能的模型，通常會同時選擇多個算法進(jìn)行訓(xùn)練，并對訓(xùn)練結(jié)果進(jìn)行比較，最終選擇最高性能的模型投入使用；
• 第三，機(jī)器學(xué)習(xí)訓(xùn)練得到的模型是個“黑箱”，一般情況下不可能通過調(diào)整模型來優(yōu)化機(jī)器學(xué)習(xí)模型的性能。

到現(xiàn)在為止，我們通過訓(xùn)練得到了一個機(jī)器學(xué)習(xí)模型，該模型可以嵌入到前端程序中用于識別或預(yù)測任務(wù)。上文說過，不同的算法類型能夠解決不同類型的問題，而入門機(jī)器學(xué)習(xí)最多被提及的算法類型有分類算法、回歸算法與聚類算法，那么下面就詳細(xì)講解這三種算法類型。

2、理解機(jī)器學(xué)習(xí)中的分類、回歸與聚類

（1）分類算法

分類算法是一種有監(jiān)督學(xué)習(xí)，目標(biāo)是學(xué)習(xí)到訓(xùn)練樣本數(shù)據(jù)中多個特征值與標(biāo)記值的對應(yīng)規(guī)律，訓(xùn)練出模型稱為分類器。使用訓(xùn)練好的分類器，輸入新數(shù)據(jù)的全部特征值時，輸出識別或預(yù)測的結(jié)果。

這里所說的識別與預(yù)測對于算法模型來說并沒有實質(zhì)上的區(qū)別，僅是在實際使用分類器時，描述業(yè)務(wù)目標(biāo)的方式不同。識別更強(qiáng)調(diào)對當(dāng)前信息的辨認(rèn)，而預(yù)測更強(qiáng)調(diào)對尚未發(fā)生的事情的推測。

分類算法分為二分類與多分類。二分類的意思是結(jié)果會包含正類與反類，比如當(dāng)前任務(wù)是識別出貓的圖片，那么貓的圖片就為正類，其他圖片就為反類。多分類可以完成多種類型的識別，例如在識別新聞文章類型時，多分類分類器可以識別出文章屬于經(jīng)濟(jì)、娛樂、體育等多種類型中的一個或多個類型。

通常情況下可以使用多個二分類分類器的方式實現(xiàn)。這時先對問題進(jìn)行拆分，然后為拆出的每個二分類任務(wù)訓(xùn)練一個分類器。例如上面的新聞分類例子中，可以拆解為三個分類器：經(jīng)濟(jì)類型分類器、娛樂類型分類器、體育類型分類器，其中每一個分類器都包含一個正類與一個反類。

下面講解一個二分類在業(yè)務(wù)中的應(yīng)用示例。

案例：

一家汽車銷售公司，擁有完備的客戶歷史消費和潛在客戶詳細(xì)資料數(shù)據(jù)庫。現(xiàn)公司準(zhǔn)備舉辦一次汽車促銷活動。為了能夠提升本次促銷活動的銷售量，公司準(zhǔn)備為潛在客戶寄送一份精美的汽車銷售材料和一份禮品。但活動經(jīng)費有限，僅能寄送給1000名潛在客戶。

任務(wù)目標(biāo)：選出1000名寄送資料與禮品的潛在客戶，并盡可能最大化這些潛在客戶的購買轉(zhuǎn)化率。

應(yīng)用分類算法：

• 第一步，整理歷史數(shù)據(jù)并確定分類方式。找出類似于本次促銷活動的歷史促銷活動消費數(shù)據(jù)和對應(yīng)的客戶詳細(xì)資料，并按照是否購買車輛將結(jié)果標(biāo)記分為正反兩類，正類為客戶參與相關(guān)促銷活動后購買了的車輛，反類是沒有購買。
• 第二步，確定訓(xùn)練樣本數(shù)據(jù)的特征。從客戶的詳細(xì)資料中，分析對購車行為可能有影響的客戶屬性，將這些屬性確定為訓(xùn)練樣本的特征，本例中的特征有：年齡、性別、有無車、年收入等屬性字段。
• 第三步，確定選用的分類算法。這里可以選擇邏輯回歸算法、決策樹算法或是支持向量機(jī)等具體的算法。
• 第四步，完成模型訓(xùn)練工作。訓(xùn)練完成的模型是一個二分類分類器，分類器輸出的結(jié)果可以表示成概率形式，即有可能為正類的概率值。如輸入某一客戶數(shù)據(jù)，得到0.68的輸出結(jié)果時，可以認(rèn)為這個客戶購買車輛的可能性有68%的概率。
• 第五步，找出最有可能轉(zhuǎn)化的1000名潛在客戶。此時，可以將所有潛在客戶信息輸入分類器，將得到每一名潛在客戶購買車輛的概率值。然后將概率值從大到小排列，選擇前1000名潛在客戶，就完成了本次任務(wù)的目標(biāo)。

（2）回歸算法

回歸算法是一種有監(jiān)督學(xué)習(xí)，學(xué)習(xí)目標(biāo)與分類算法相同，也將學(xué)習(xí)到訓(xùn)練樣本數(shù)據(jù)中多個特征值與標(biāo)記值的對應(yīng)規(guī)律。使用訓(xùn)練好的回歸模型可以對已知數(shù)據(jù)的未知參數(shù)進(jìn)行估算，在業(yè)務(wù)上可用于對特定參數(shù)進(jìn)行預(yù)測，例如：預(yù)測電影票房、預(yù)測車流量、預(yù)測天氣污染指數(shù)、預(yù)測產(chǎn)品銷量等。

回歸算法與分類算法有一定區(qū)別。分類算法可以對數(shù)據(jù)的某個屬性類別進(jìn)行預(yù)判，這個類別是由有限個類型組成。而回歸可以對數(shù)據(jù)的某個參數(shù)值進(jìn)行預(yù)測，這個參數(shù)值是連續(xù)型的數(shù)值，因此有無限可能性。例如：分類算法可以確定如[甜、不甜]這樣的有限分類，而回歸算法可以推算出如天氣溫度25.325°C等這種連續(xù)型數(shù)值。

下面講解一個應(yīng)用回歸算法預(yù)測電影票房的示例。

案例：

一家媒體機(jī)構(gòu)希望對一部即將上映的電影進(jìn)行票房預(yù)測。該媒體已經(jīng)收集過眾多電影詳細(xì)資料與歷史的票房數(shù)據(jù)，數(shù)據(jù)字段包括：電影名稱、題材、內(nèi)容、導(dǎo)演、演員、編輯、發(fā)行方、票房金額等等。

任務(wù)目標(biāo)：收集相關(guān)信息并預(yù)測即將上映的電影票房數(shù)值。

應(yīng)用回歸算法：

• 第一步，整理歷史數(shù)據(jù)并確定訓(xùn)練樣本特征。除了上文內(nèi)容，還可以使用影評數(shù)據(jù)、輿情數(shù)據(jù)等當(dāng)做特征，但這些特征值需要進(jìn)行處理后才能投入使用。例如影評數(shù)據(jù)可以通過自然語言處理技術(shù)，將影評內(nèi)容區(qū)分出不同類型，再去應(yīng)用。
• 第二步，收集預(yù)測影片的相關(guān)信息。根據(jù)確定的特征項，收集目標(biāo)影片當(dāng)前的信息。
• 第三步，確定選用的回歸算法。這里可以選擇線性回歸、支持向量機(jī)回歸、相關(guān)向量機(jī)等具體的算法。
• 第四步，完成訓(xùn)練工作。訓(xùn)練完成后，便可以使用模型計算出指定影片的票房預(yù)測數(shù)值。在本例中輸出值可以是2830000，代表預(yù)測票房為283萬元。

（3）聚類算法

聚類算法是一種無監(jiān)督學(xué)習(xí)，可以挖掘到樣本數(shù)據(jù)的特征值的潛在相關(guān)性，將具有類似特征值的數(shù)據(jù)進(jìn)行分組。因此，聚類算法可以被用作知識發(fā)現(xiàn)使用，也被稱為探索性數(shù)據(jù)分析方法。該算法常被用于市場研究、用戶分組、用戶畫像等分析過程。

聚類算法與前兩類算法不相同，訓(xùn)練模型時的樣本數(shù)據(jù)中并不包含標(biāo)記，所以就不能具備對特定屬性進(jìn)行預(yù)測的能力。

使用聚類算法時，可以劃分為指定的分組數(shù)目，也可以不確定具體分組數(shù)目。如果不確定分組數(shù)量時，算法會根據(jù)自身特性計算出最合適的分組數(shù)目。劃分好分組后，使用者可以分析分組中的數(shù)據(jù)，研究算法劃分的具體原因。

下面講解一個應(yīng)用聚類算法進(jìn)行市場研究的示例。

案例：

一家筆記本電腦制造公司，準(zhǔn)備研發(fā)一款新型筆記本電腦?，F(xiàn)在進(jìn)行初期的市場研究工作，希望能夠根據(jù)市場中筆記本產(chǎn)品的配置、價格及銷售情況，指導(dǎo)新款筆記本的研發(fā)與市場定價。

任務(wù)目標(biāo)：挖掘出市場中銷售量較高的筆記本產(chǎn)品具有配置特點，并找出不同配置類型的定價情況。

應(yīng)用聚類算法：

第一步，收集相關(guān)數(shù)據(jù)。從各個電商平臺收集相關(guān)筆記本電腦的配置信息，如：電腦型號、品牌、CPU性能、顯卡性能、內(nèi)存大小、硬盤大小、屏幕大小、重量、電池容量、定價等。并且篩選出銷售量較高的產(chǎn)品。

第二步，確定聚類分析的特征項。在聚類分析中，特征項的數(shù)目不是越多越好，對于沒有明顯差異的變量對聚類分析并沒有實質(zhì)的意義，并且可能會對結(jié)果造成干擾。因此，可以選擇CPU性能、顯卡性能、內(nèi)存大小、硬盤大小等作為聚類分析的特征項。

第三步，確定選用的聚類算法。這里可以選擇K-means、層次聚類算法、SOM聚類算法等具體的算法。

第四步，完成訓(xùn)練工作。當(dāng)指定聚類算法分為N個分組時，會輸出N個分組的情況。當(dāng)不指定分組數(shù)據(jù)時，會輸出算法認(rèn)為合適的分組數(shù)量與分組情況。

第五步，分析各組數(shù)據(jù)的相似性特點，并為每類分組命名。這一步需要使用者對每一個分組內(nèi)的數(shù)據(jù)進(jìn)行詳細(xì)分析，找出其中分組內(nèi)哪些特征值相類似，最終還要為每一個分組進(jìn)行命名。本例中，需要分析每組筆記本相似的配置項，然后為每組數(shù)據(jù)分類命名，最終的命名結(jié)果可能為：配置高顯卡高的分組命名為游戲本、配置一般顯卡低的命名為商務(wù)本、配置高顯卡一般的命名為家用本等等。

第五步，按照每種分組統(tǒng)計平均價格。到此為止，就完成了對市場中銷量較好的筆記本產(chǎn)品的研究，研究結(jié)果可以了解市場中暢銷的筆記本產(chǎn)品的不同配置分組與平均價格。

3、小結(jié)

本篇為讀者首先介紹了機(jī)器學(xué)習(xí)技術(shù)，從大量的數(shù)據(jù)中自行尋找潛在規(guī)律，并應(yīng)用此規(guī)律來識別或預(yù)測新數(shù)據(jù)的技術(shù)。第二，介紹了機(jī)器學(xué)習(xí)模型的訓(xùn)練過程：確定算法、準(zhǔn)備數(shù)據(jù)、訓(xùn)練模型。第三，介紹了機(jī)器學(xué)習(xí)面向業(yè)務(wù)使用中最重要的三個算法：分類算法、回歸算法與聚類算法。

本文通過示例的方法幫助讀者入門機(jī)器學(xué)習(xí)算法。但真實案例中肯定不會這么簡單，通常情況下特征項都會超過10萬個，還需要考慮樣本數(shù)據(jù)對最終模型可能產(chǎn)生的影響等。因此，讀者首先要從示例中理解不同的算法能夠解決什么樣的問題，然后在深入學(xué)習(xí)機(jī)器學(xué)習(xí)相關(guān)的數(shù)據(jù)預(yù)處理、特征工程、算法調(diào)參、性能評估等知識。

產(chǎn)品經(jīng)理需要深入學(xué)習(xí)相關(guān)技術(shù)知識么？筆者認(rèn)為還是需要根據(jù)實際應(yīng)用程度進(jìn)行一定程度的深入學(xué)習(xí)，原因有以下三點：

• 第一，不同類型的機(jī)器學(xué)習(xí)算法有不同應(yīng)用場景與價值，如果不能對算法類型所解決的問題有所認(rèn)知，那么在解決具體業(yè)務(wù)問題時的思路將受到限制；
• 第二，同一算法類型下的不同算法，在面向不同數(shù)據(jù)時會有不同的性能效果，這里所說的性能效果可以簡單理解為精確度，如果對算法沒有了解，那么在實際項目中可能會影響研發(fā)周期；
• 第三，不同機(jī)器學(xué)習(xí)算法對硬件計算能力、數(shù)據(jù)存儲空間有不同要求，并且具體業(yè)務(wù)也會對算法的計算時間與精度有限制，如果沒有相關(guān)了解，那么可能會影響研發(fā)成本。

目前機(jī)器學(xué)習(xí)技術(shù)應(yīng)用范圍非常廣泛，最為典型的應(yīng)用領(lǐng)域有數(shù)據(jù)分析、商品推薦、文章推薦等。雖然機(jī)器學(xué)習(xí)也可以應(yīng)用在圖像識別與語音識別等領(lǐng)域，但是一直以來并沒有得到很好的識別準(zhǔn)確率。

這其中主要的原因就是，機(jī)器學(xué)習(xí)算法的性能依賴于所提取的特征的準(zhǔn)確度。而深度學(xué)習(xí)嘗試從數(shù)據(jù)中自行挖掘出有效的特征屬性，并且已經(jīng)在圖像識別與語音識別領(lǐng)域取得了非常優(yōu)異的成績。后續(xù)，我們將繼續(xù)講解深度學(xué)習(xí)。

本文由 @howie楊 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自unsplash，基于CC0協(xié)議