這篇文章將用通俗易懂的語言帶你走進模型微調(diào)的世界，揭示它是如何將一個廣泛學習的預(yù)訓練模型，通過精細調(diào)整，使其在特定領(lǐng)域達到更高的專業(yè)水平。

模型微調(diào)其實就是讓一個非常博學的通才，著重再學習某一個領(lǐng)域的知識，進而變成專才的這么一個過程。

非常博學的通才，就是指的預(yù)訓練模型，也叫通用大模型或基座模型，比如最出名的GPT，還有谷歌的BERT，百度的ERNIE，其實都是預(yù)訓練大模型。

這些預(yù)訓練模型經(jīng)過了全量的訓練，學習了世間非常多的知識信息，幾乎就是一本百科全書。

而且預(yù)訓練模型也已經(jīng)掌握了很多通用的知識模式，比如語言結(jié)構(gòu)，語義特征等，擁有了識別用戶意圖，生成文本或圖片、視頻等能力。

你可以理解預(yù)訓練模型已經(jīng)是一個本科生的水平了，你需要通過微調(diào)，讓預(yù)訓練模型學習更多特定專業(yè)領(lǐng)域的知識，讓它在某個領(lǐng)域里達到研究生甚至是博士生的水平，滿足在不同特定領(lǐng)域里的實際應(yīng)用需求。

之所以叫模型微調(diào)，重點就是在一個“微”字上，相較于預(yù)訓練大模型在訓練時的海量數(shù)據(jù)學習，模型微調(diào)用到的數(shù)據(jù)，簡直就是九牛一毛。

相應(yīng)的模型微調(diào)所需要的時間和算力資源也會少很多，可以比較高效、且低成本的訓練出滿足業(yè)務(wù)需求的模型進行后續(xù)的評估部署及應(yīng)用。

B端究竟需要什么样的产品经理？

B端产品经理都是以提升供应侧的工作效率为目的，所以B端需求主要是以业务问题为导向。 这个是B端产品比较重要的一点，B端产品是服务于一个主体 ...

查看详情 >

比如要通過微調(diào)進行影評的情感分類，首先需要選擇合適的預(yù)訓練模型，是文本類的，還是視頻類的，像影評的話，就可以選擇一個文本類的預(yù)訓練模型，例如BERT。

然后要在保證數(shù)據(jù)質(zhì)量的前提下，收集準備盡可能多的影評數(shù)據(jù)，并將收集到的數(shù)據(jù)集按照8:1:1或7:2:1的比例，劃分為訓練集、驗證集、測試集。

訓練集可以用來進行模型訓練，驗證集可以在訓練過程中，根據(jù)驗證集結(jié)果和模型性能，調(diào)整模型的一些參數(shù)，最終達到模型可用狀態(tài)，測試集用來最終評估模型的效果。

驗證集和測試集雖然都是用來看模型效果的，但還是有區(qū)別的，因為驗證集在模型訓練過程中，起到了驗證結(jié)果，調(diào)整參數(shù)的作用，所以說單純的看驗證集結(jié)果，模型實際的效果可信但又不完全可信，所以還是不能少了測試集。

數(shù)據(jù)集搞定后，接下來就是準備進行模型訓練了，訓練前需要選用合適的微調(diào)策略，比如是全量微調(diào)，還是部分微調(diào)，是采用LoRA微調(diào)還是SFT微調(diào)，具體的技術(shù)細節(jié)就不做探討了，只需要知道模型微調(diào)策略的本質(zhì)，其實就是調(diào)整預(yù)訓練模型的參數(shù)，通過訓練獲得一版符合業(yè)務(wù)要求的模型。

模型微調(diào)時，模型一般會進行多輪訓練，訓練過程中需要根據(jù)驗證集的損失、準確率等指標調(diào)整模型超參數(shù)（包括學習率、迭代次數(shù)、批量大小、正則化參數(shù)、優(yōu)化器選擇等）。

模型訓練后，就可以用測試集來驗證模型的實際效果，評估模型的最終性能。

以上就是模型微調(diào)的一個大概步驟，具體的技術(shù)細節(jié)沒有做詳細闡述，感興趣的同學可以自行學習一下。