目前，英偉達公司在這(zhè)一(y±σī)領域占據著(zhe)主導地(dì)位，其産品的(d'§¶e)市(shì)場(chǎng)份額超過80%。2023年↕ ₩(nián)，英偉達成功售出了(le)55萬塊Hopper↓× ☆芯片，這(zhè)些(xiē)高(gāo ♠&λ)性能(néng)芯片的(de)單價至少(shǎo)為(wèi)3萬美(měi•§‌÷)元，并且它們主要(yào)面向數(shù)據中δ₩↕心市(shì)場(chǎng)，而非個(gè)人(rén)電(diàn)腦(‌±nǎo)用(yòng)戶。得(de)益于此，英偉達的(de)£‌≥$市(shì)值在今年(nián)大(dà)幅增長(ch€☆₽∞áng)，達到(dào)了(le)2萬億美(měi)元以上×✔(shàng)，使其成為(wèi)全球市(shì)值排名第→÷$♣三的(de)公司，超越了(le)包括亞馬•×遜和(hé)Alphabet在內(nèi)的(de)其他(tā)科(kē'♦γ)技(jì)巨頭。

在過去(qù)十年(nián)裡(lǐ)，人(rén)工(gōng)智能(n÷<Ωéng)的(de)顯著進步并非源于巧妙的(de)編程技(jì)巧÷∑♥，而是(shì)基于一(yī)個(gè)核心理(lǐ)念：模型越大(dà✘☆)越好(hǎo)。越來(lái)越多(duō)的(de)大(dà)語言‌≤模型在龐大(dà)的(de)數(shù)據集上≠σ(shàng)進行(xíng)訓練，這(zh✔ ™è)就(jiù)需要(yào)更強大(dàδα¥)的(de)計(jì)算(suàn)能(nén↓♥g)力。據悉，OpenAI最新推出的(de)GPT-4模型，其訓練所<Ω€需的(de)計(jì)算(suàn)資源是(s¥™λ‍hì)其前一(yī)代的(de)100倍。像Met→¥∑πa這(zhè)樣的(de)公司已經建立了(le)依賴于英偉達高('₩✘§gāo)性能(néng)芯片的(de)數(shù)據中心。此外(w₽♦πài)，包括谷歌(gē)和(hé)IBM在內(nè<σ‍i)的(de)其他(tā)公司，甚至一(yī)些(xiē)規模較小(x✔≈€iǎo)的(de)公司也(yě)在研發人(rén)工(gōng)智能(☆δnéng)芯片。與此同時(shí)，研究人(rén)員(y☆Ωuán)正在探索各種芯片設計(jì)，包括一(yī)些₽§∞∑(xiē)針對(duì)小(xiǎo)型設備優化∏π‌(huà)的(de)設計(jì)。這(zhè)些(xi★•©ē)芯片的(de)共同特點是(shì)它們δ×♦采用(yòng)了(le)包括并行(xíng)計(jì)算(suàn)、易于÷'訪問(wèn)的(de)儲存和(hé)數(shù)字速記等≥§↑×技(jì)術(shù)，這(zhè)些(x↓>®₹iē)技(jì)術(shù)幫助它們克服了(÷→α le)傳統計(jì)算(suàn)的(de)限制(zhì)，提升了(™♥✔le)處理(lǐ)速度。

二

人(rén)工(gōng)智能(néng)芯片的(de)興起與演進€÷✔÷

自(zì)20世紀70年(nián)代以來(lái)，中央處理(lǐ)''δ↔器(qì)（CPU）的(de)改進呈指數(shù)級增長£ →α(cháng)。随著(zhe)晶體(tǐ)管的(de)縮小(xiǎo)，它α♥們在芯片上(shàng)的(de)密度每兩年(nián)翻一(yīσ‍)番（這(zhè)一(yī)趨勢被稱為(wèi)“摩爾定★♠≈律”），晶體(tǐ)管變得(de)更小(xiǎo)也(yě)更快€♥→(kuài)。CPU的(de)進步如(rú)此迅速，以至于定制(zhε∑ì)設計(jì)其他(tā)類型的(de)芯片變得(>✔αde)毫無意義。然而，大(dà)約在2005年(nián)，晶體(tǐ)管尺寸​¥的(de)縮小(xiǎo)速度開(kāi)始放(fà‍&®ng)緩，工(gōng)程師(shī)們面臨§<↑←一(yī)個(gè)挑戰：他(tā)們擔心無法繼續讓晶體(tǐ)管變得>§∑(de)更小(xiǎo)。CPU進展的(de)放(fàng)緩促使計(j©♣ì)算(suàn)機(jī)工(gōng)程師(shī)認真考慮其他€☆‌(tā)類型的(de)芯片。

事(shì)實上(shàng)，視(shì)覺處理π∏✔&(lǐ)器(qì)（GPU）的(de)早期版本自(zì)∑₽20世紀70年(nián)代末以來(lái)就(​ ‌÷jiù)已經存在，當時(shí)的(de)GPU設計(jì)用(yò•π♣ng)于為(wèi)視(shì)頻(pín)遊戲進行(x‌★↔•íng)重複計(jì)算(suàn)，例如(rú)盡σ £可(kě)能(néng)快(kuài)地(dì)渲染屏幕上(shàΩγ¥ng)像素的(de)顔色。與CPU按順序處理(lǐ)指令←€¥÷不(bù)同，GPU可(kě)以并行(xíng)處理(lǐ)更多(dΩ<✘uō)指令。通(tōng)常，CPU中有(yǒu)一(yī)些(xπ↕iē)強大(dà)的(de)核心組件(jiàn)，并可(kě)以在這δΩ>(zhè)些(xiē)核心組件(jiàn)中進行(xíng) σ™×計(jì)算(suàn)。每個(gè)單獨的(de)處理(lǐ)單元Ω 接收指令，并由多(duō)個(gè)緩存進行(xíng)支持，這(zhè)∞™​些(xiē)緩存可(kě)以在短(duǎn)期內(nèi)存儲數(shù)≠→♠據，這(zhè)種架構使CPU非常适合複雜(z>↓‌↓á)計(jì)算(suàn)。相(xiàng)比之下≈→(xià)，GPU有(yǒu)數(shù)百或數&αφ(shù)千個(gè)較小(xiǎo)的(de)核心組件(jiàn)λ ✘，每個(gè)核心組件(jiàn)由較少(shǎo)的(de)輔助系≈←§統支持。擁有(yǒu)許多(duō)較小(xiǎo)的(de)§≥核心組件(jiàn)允許GPU比CPU更快(kuài)地(dì)并行(x&§íng)執行(xíng)許多(duō)簡單、重複的(de)計(jì)算(su∑↑∞≤àn)。

2012年(nián)，神經網絡的(de)早β > 期倡導者之一(yī)、多(duō)倫多(duō)大(‌≤‌πdà)學計(jì)算(suàn)機(jī)科(kē ↔×±)學家(jiā)傑弗裡(lǐ)·辛頓（Geo∞ ≠↔ffrey Hinton）和(hé)他(tā)的(de)學≤©生(shēng)阿萊克斯·克裡(lǐ)茲維斯基（Alex ®&Krizhevsky）、伊利亞·索特λ&ε 思科(kē)瓦（Ilya Sutskever）意識到(dào)  Ω<使用(yòng)GPU訓練的(de)神經網絡可(kě)能(nβ₽αéng)會(huì)做(zuò)得(de)更好 "(hǎo)，因為(wèi)機(jī)器(qì)學習(xí)的(de)基☆ "λ本是(shì)簡單、重複的(de)計(jì)算(suàn)。為(wèi)此 <&₩，他(tā)們使用(yòng)兩個(gè)GPU來∞♠ (lái)訓練神經網絡，稱為(wèi)AlexNet，并在2012年(niá✘∑n)度ImageNet競賽中獲得(de)冠軍。當時(shí)€×，使用(yòng)CPU的(de)程序來(lá÷©i)區(qū)分(fēn)相(xiàng)似圖像的(d¶★♣e)準确率最多(duō)隻能(néng)達到(dào)75Ωδβ×%，而使用(yòng)GPU的(de)AlexNet準确率可(kě)♥ 達到(dào)85%。在一(yī)兩年(nián)內(nèi)，每個(g π•è)ImageNet的(de)參賽者都(dōu)開(kāi‌☆$)始使用(yòng)GPU，從(cóng)那(nà)時(s←∏hí)起，人(rén)工(gōng)智能(néng)研究人(rén)員α₹→Ω(yuán)就(jiù)開(kāi)始嚴重依賴這(zh≈€"βè)些(xiē)GPU。

盡管GPU像CPU一(yī)樣仍然受到(dào)晶體(tǐγ•)管的(de)約束，但(dàn)它們并行(xíng)計©≈φ(jì)算(suàn)的(de)能(néng)力使它們能(néng)夠加速人‍←(rén)工(gōng)智能(néng)任務。為(wèi)了(le)訓練擁 ←÷有(yǒu)1750億個(gè)參數(shù)的​♣(de)大(dà)語言模型GPT-3，OpenAI的(de)研究人(ré$∏™φn)員(yuán)不(bù)得(de)不(bù)連續運行(xíng)1024個★δ(gè)GPU一(yī)個(gè)月(yuè)，這(zhè"®•)花(huā)費(fèi)了(le)數(shβ≤ù)百萬美(měi)元，這(zhè)些(x♥₽®<iē)GPU執行(xíng)了(le)10^23次浮點運算(suàn)，同樣的→★(de)訓練在CPU上(shàng)需要(yào)數(shù)百到(dào≤σ≠£)數(shù)千倍的(de)時(shí)間(jiān)。盡管GPU一(yī)直λ₽ ≤是(shì)人(rén)工(gōng)智能(néng)革命的(de)≥σ核心，但(dàn)它們并不(bù)是(shì) "×¥唯一(yī)的(de)選擇。随著(zhe)人(rén)工(g•♦Ω¥ōng)智能(néng)應用(yòng)的(de¶λ₹)激增，人(rén)工(gōng)智能(néng★♠)芯片的(de)種類也(yě)在增加。

三

人(rén)工(gōng)智能(néng)芯片的(de)創新與突破

現(xiàn)場(chǎng)可(kě)編程門€$(mén)陣列（Field Programmabl​♣✔e Gate Array，FPGA）的(de)設計™σ∞×(jì)允許計(jì)算(suàn)機(jī)工(gōng)σ↓≈程師(shī)直接對(duì)芯片的(de)電(diàn)路↓  (lù)進行(xíng)編程，使其能(néng)夠按照(z÷♥hào)特定的(de)命令執行(xíng)任務，而不(bù)需要→‍≠Ω(yào)等待外(wài)部的(de)指令。F ±PGA就(jiù)像一(yī)盒樂(yuè)高(gāo)積木(✘≠♠γmù)，工(gōng)程師(shī)可(σλ≥∞kě)以根據他(tā)們的(de)想象将FP" ∑→GA電(diàn)路(lù)逐個(gè)構建λ×成任何設計(jì)，無論是(shì)用(yòng)于洗衣機(jī)傳感 ₩ Ω器(qì)還(hái)是(shì)指導自(zì)動駕​≠§₹駛汽車(chē)的(de)人(rén)工(→¶β≠gōng)智能(néng)。包括英特爾旗下(xi‌↕×à)位于美(měi)國(guó)加州聖何塞↕  ‌的(de)Altera在內(nèi)的(de)一(yī)些(x™↑§♠iē)公司，将FPGA推向了(le)包括醫(yī)學成像在內(nèi)的(d≥≥e)各種人(rén)工(gōng)智能(nén§≤"g)應用(yòng)市(shì)場(chǎng)。研究人✔‌→₩(rén)員(yuán)也(yě)發現(xiàn)，FPGA在處理(lǐ)Ω‌§粒子(zǐ)對(duì)撞機(jī)數(s§↑≤hù)據等特殊任務上(shàng)非常有(yǒu)用(yòng)₹α。此外(wài)，FPGA的(de)易于編程性也(yě)使它們δ★在芯片原型設計(jì)中具有(yǒu)價值，工(gōng)程師(shī)☆•♣>們會(huì)嘗試使用(yòng)FPGA來(lái)設計(jì)人(ré¶₩n)工(gōng)智能(néng)芯片。

人(rén)工(gōng)智能(néng★↑✘↔)芯片最繁重的(de)工(gōng)作(zuò)之一¥&(yī)可(kě)能(néng)是(shì)進行(xíng)乘法運算(s©✘&uàn)。2010年(nián)，谷歌(gē)面臨一(yī)δσ≈個(gè)問(wèn)題：公司希望為(wèi)大(dà♣≠)量日(rì)常用(yòng)戶提供語音(yīn)轉錄服務。然而，要(yàoβ↓σ)訓練一(yī)個(gè)能(néng)夠自(zì)動處♠§÷↑理(lǐ)這(zhè)項任務的(de)人(rén)工(gōng)智能÷≠> (néng)，需要(yào)進行(xíng)大(dà)量的(de)乘★♣€法運算(suàn)。為(wèi)此，谷歌(gē)的(de)計(jì)算(♣≈suàn)機(jī)工(gōng)程師(shī)們開¥★‌(kāi)發一(yī)種新型芯片，即張量₽β₽♠處理(lǐ)器(qì)（Tensor Processing Uni♠<☆t，TPU），并将其作(zuò)為(wèi)谷歌​‌λ(gē)人(rén)工(gōng)智能(nε éng)的(de)平台。TPU專門(mén)設計(jì)用(yòn"≤∑g)于支撐人(rén)工(gōng)智能(néng)的(de)乘法α$"運算(suàn)。當TPU接收到(dào)一(yī)個(gè) •↑指令時(shí)，它不(bù)是(shì)執行(xíng)一(yī)個(gγ'è)操作(zuò)，而是(shì)可(kě​÷✔)以執行(xíng)超過10萬個(gè) <操作(zuò)。TPU可(kě)執行(xíng)大(dà)量操作(‍™∑↓zuò)而隻需有(yǒu)限地(dì)等待指令的(de)能(néλ✘¶ng)力使得(de)谷歌(gē)能(néng)夠加快(kuài)人(♠¶✔rén)工(gōng)智能(néng)項目的(de)進展♦×。

四

人(rén)工(gōng)智能(néng)芯片的(de)能 ↕(néng)耗挑戰與未來(lái)發展


人(rén)工(gōng)智能(néng)芯片的(de•÷)設計(jì)會(huì)盡量避免讓芯片記憶過多(duō)₩>∏信息。在微(wēi)處理(lǐ)器(qì)和(hé)存儲器(qì)之間<∏∞(jiān)來(lái)回傳輸數(shù)據可(±∑kě)能(néng)非常耗時(shí)且耗能(nén↓©∏g)。人(rén)工(gōng)智能(néng)的(de®δ₽ )電(diàn)力消耗并不(bù)是(shì)一(♠✘< yī)個(gè)小(xiǎo)問(wèn)題，據估₽α​計(jì)，訓練GPT-3消耗了(le)13∑©&‌00兆瓦時(shí)（MWh）的(de)電(diàn)力₹€>δ。即使在訓練完成後，使用(yòng)人(rén)工(gōng)智能(nén♦‌g)應用(yòng)也(yě)可(kě)能(néng)消耗無δ¥β♦窮無盡的(de)能(néng)源。為(wèi)了(le)解決這(zhè)σ≤§個(gè)問(wèn)題，許多(duō)GPU在單個(gè)芯♥≠片上(shàng)直接集成了(le)大('÷δ≥dà)量內(nèi)存，如(rú)英偉達的(de)Blac₽αφkwell芯片大(dà)約有(yǒu)2  'ε00GB的(de)內(nèi)存。當人(βΩ↔£rén)工(gōng)智能(néng)芯片安裝在服務器(qì© )中的(de)時(shí)候，它們還(hái)可(¶Ω←kě)以共享內(nèi)存，這(zhè)使得(de)各個>✘λ↑(gè)芯片之間(jiān)的(de)網絡連接更>$€↑簡單，耗電(diàn)量也(yě)更少(shǎo)。盡管芯片設計(jì)的✘™→±(de)進步可(kě)以提高(gāo)效率，但(dàn£ ↑)随著(zhe)模型的(de)增大(dà)，人(ré≥¥↔n)工(gōng)智能(néng)的(de)能(n♠ éng)耗成本仍在逐年(nián)增加。

人(rén)工(gōng)智能(néng)芯片的('•$de)發展，如(rú)GPU的(de)出現(xiàπ•n)，并不(bù)意味著(zhe)CPU退出曆史舞(wǔ)台。相(€β↓xiàng)反，這(zhè)些(xiē)芯片®↓之間(jiān)的(de)界限正在變得(d€ • e)模糊，現(xiàn)在的(de)CPU相(xiàng)比早期版 ‌∑本更擅長(cháng)并行(xíng)計(jì)算(suà₹'λ↑n)，而GPU也(yě)具有(yǒu)更多(duō)的♣$™ (de)功能(néng)。英偉達的(de)Blackwell芯片的(∑®de)一(yī)個(gè)版本可(kě)以直接将GPU與CPU配對(duì)；✔ ÷•位于美(měi)國(guó)田納西(xī)州橡樹(shù)嶺國×≥&±(guó)家(jiā)實驗室的(de)超級計(jì)算(suàn)機(jī♠>φ)Frontier将CPU和(hé)GPU結合使φ§​♠用(yòng)。考慮到(dào)過去(q₩¶¥☆ù)十年(nián)的(de)變化(huà)速度，研究人(ré"→©n)員(yuán)表示很(hěn)難預測芯片的(de)未來(lái)₹©©，将來(lái)的(de)人(rén)工(gōng≤↑)智能(néng)芯片或許會(huì)使用(yò♠☆÷ng)光(guāng)子(zǐ)芯片或量子(zǐ)計(₹≠jì)算(suàn)芯片。與此同時(shí)，一(yī)些♣γσφ(xiē)研究者認為(wèi)，讓公衆更加了(le)解人< (rén)工(gōng)智能(néng)芯片可(kě)以幫助人(rén)們揭♠♣σπ開(kāi)人(rén)工(gōng)智能(néng)領域的(de)神↓γ秘面紗，并糾正人(rén)們對(duì)人(r∏↑→én)工(gōng)智能(néng)無所不(bù)能(néng)的(φ÷↕de)誤解。