本文詳細(xì)探討了GPU的重要性、設(shè)計(jì)初衷及其在AI訓(xùn)練和推理中的應(yīng)用，同時(shí)介紹了CUDA平臺(tái)及其對(duì)GPU計(jì)算能力的擴(kuò)展。通過深入了解GPU和CUDA，讀者可以更加明晰當(dāng)前AI技術(shù)發(fā)展的趨勢(shì)和需求，以及如何利用這些技術(shù)推動(dòng)行業(yè)的前進(jìn)。

身處AI時(shí)代的我們，想必都聽過”GPU“、英偉達(dá)。但是真正了解GPU的人，可能并不多。本文，通過與chatGLM一系列對(duì)話，對(duì)GPU相關(guān)問題,刨根問底，得到了答案。讓我們一起來看看吧…

記得本人剛?cè)胄?，做私有化交付型的一些AI產(chǎn)品和項(xiàng)目的時(shí)候，一些AI算法模型，我們會(huì)同時(shí)給出CPU版本性能參數(shù)和GPU性能參數(shù)，有些AI算法服務(wù)需要客戶自行準(zhǔn)備GPU機(jī)器，用于算法前期POC測(cè)試和運(yùn)行。印象最深刻的就是：幾乎所有涉及到圖像處理、CV領(lǐng)域的算法，比如車輛檢測(cè)、物體檢測(cè)、人臉識(shí)別等都需要GPU機(jī)器。當(dāng)時(shí)，我就是那么去“記”的，也沒怎么耽誤推進(jìn)產(chǎn)品和項(xiàng)目進(jìn)度，所以也沒深究到底什么是GPU？、什么是CUDA？

恰逢本人今年4月份，在面試某公司大模型產(chǎn)品經(jīng)理崗位時(shí)（偏技術(shù)型），被問到了 “什么是CUDA？”——所以趁有時(shí)間，分享一下~

當(dāng)前AIGC的時(shí)代浪潮已經(jīng)掀過一翻，目前遺留的最大問題就是：【算力短缺問題】。所以，未來大力發(fā)展“算力”，是大勢(shì)所趨。我們AI的從業(yè)者們，也可再往深入探究一些，為行業(yè)的共同發(fā)展和認(rèn)知普及，做一些貢獻(xiàn)。——這也是本篇本章產(chǎn)出的另一原因。

一、GPU是啥？干嘛用的？非它不可嗎？

眾所周知，在【電腦】里，有個(gè)充當(dāng)”腦子“的東西，叫做：CPU（中央處理單元），它能夠進(jìn)行各種計(jì)算任務(wù)，包括圖像處理和數(shù)據(jù)分析。

好，那直接用CPU進(jìn)行各種運(yùn)算不就得了，為啥做深度學(xué)習(xí)、搞AI模型的這幫團(tuán)隊(duì)，非得用GPU？

—————一個(gè)字：快！七個(gè)字：并行計(jì)算，所以快！

做了8年产品经理后，我是这么看产品经理的

我个人是从非常初级的产品经理做起，再到负责一个大产品的项目管理，现在有幸跳出了日常基础的工作更多的去看产品的PMF，product strategy...

查看详情 >

好，那下面再深究一下：

1. 為何GPU就能并行計(jì)算了？
2. GPU怎么個(gè)并行計(jì)算法？
3. GPU的發(fā)明，是為了解決什么問題的？

1. GPU的設(shè)計(jì)初衷——為了加速圖形計(jì)算和圖形渲染

背景：在20世紀(jì)90年代，計(jì)算機(jī)游戲和多媒體內(nèi)容的興起，對(duì)于能夠快速生成復(fù)雜3D圖形的硬件需求日益增長，而那時(shí)的CPU只能順序執(zhí)行指令。

2. 為什么圖像圖形計(jì)算，就非得需要“并行運(yùn)算“提效呢？

并行計(jì)算提效的原因：一個(gè)工人一個(gè)點(diǎn)一個(gè)點(diǎn)噴涂 v.s. 一堆工人同時(shí)噴涂。

圖形計(jì)算與渲染需要計(jì)算每個(gè)像素點(diǎn)的亮度、顏色等數(shù)值，如果一個(gè)點(diǎn)一個(gè)點(diǎn)順序執(zhí)行，那太慢，而并行運(yùn)算就快很多啦?！狦PU 有多個(gè)核。

下面這張圖更直接：

3. 為何AI訓(xùn)練、AI推理等深度學(xué)習(xí)任務(wù)，也需要高性能運(yùn)算？為何選GPU？

在AI推理中，有很多重復(fù)性的計(jì)算，比如大量的加減乘除運(yùn)算。

在AI深度學(xué)習(xí)任務(wù)中，建模的目標(biāo)就是：求解目標(biāo)函數(shù)?！繕?biāo)函數(shù)求解，需要求解出每個(gè)特征對(duì)應(yīng)的參數(shù)?！热绗F(xiàn)在的AI大模型，動(dòng)不動(dòng)10億級(jí)別、百億級(jí)別參數(shù)量級(jí)。

圖：目標(biāo)函數(shù)示例

所以，需要提高訓(xùn)練和在線推理性能的東西?！怯袀€(gè)現(xiàn)成的東西：GPU?？梢阅脕砑从谩?/p>

GPU的應(yīng)用場(chǎng)景，也由最初的”加速圖形渲染“，演變到了現(xiàn)在的”通用計(jì)算“場(chǎng)景。

二、什么是CUDA？

好了，了解了前面GPU是什么、GPU的設(shè)計(jì)初衷、GPU能干嘛？（加速圖形計(jì)算–通用高性能計(jì)算：AI訓(xùn)練&AI推理）；

下面再了解一下，什么是CUDA吧？

——CUDA，是在英偉達(dá)Ian Buck（CUDA項(xiàng)目負(fù)責(zé)人）率領(lǐng)下，于2006年正式推出的全球首款GPU上的通用計(jì)算解決方案?？梢岳斫鉃?，它是一個(gè)軟件平臺(tái)，里面包含各種庫函數(shù)，包括：圖形庫、數(shù)學(xué)庫、深度學(xué)習(xí)庫、runtime庫等；個(gè)人理解，CUDA它就是實(shí)現(xiàn)AI深度學(xué)習(xí)任務(wù)的一個(gè)軟件平臺(tái)或框架，類似的還有Pytorch、Tensorflow。

三、除了英偉達(dá)的V100、A100、H100等GPU，還有哪些廠家有哪些GPU？

1. 國外除了英偉達(dá)做AI芯片的廠商，還有：

數(shù)據(jù)來源：chatGLM-2024年7月.

2. 國內(nèi)做AI算力的廠商，以華為昇騰為主力代表，其它廠家還有：

遂原科技（騰訊投資）、地平線、寒武紀(jì)、百度（昆侖芯片）、比特大陸、中科曙光、海光、壁仞科技、摩爾線程（GPU芯片“春曉”）、礪算科技（G100）、象帝先（天鈞一號(hào)）、智繪微（IDM9系列）、芯動(dòng)力（RPP-R8）等等；

更多國產(chǎn)算力芯片廠商，可詳見這篇文章：GPU國產(chǎn)替代逆流而上 盤點(diǎn)九個(gè)值得關(guān)注的國產(chǎn)GPU產(chǎn)品（https://new.qq.com/rain/a/20230108A00HNE00），或者自行翻一翻歷年的《算力行業(yè)研究報(bào)告》~

四、本文參考資料

1、一文讀懂 GPU 的發(fā)展歷程：https://juejin.cn/post/7125824952342675464

2、英偉達(dá)為什么這么紅：說說GPU計(jì)算背后的故事：https://new.qq.com/rain/a/20230108A00HNE00

3、GPU國產(chǎn)替代逆流而上 盤點(diǎn)九個(gè)值得關(guān)注的國產(chǎn)GPU產(chǎn)品：https://new.qq.com/rain/a/20230108A00HNE00