在生成式AI熱潮下，最大得益者是誰呢？答案不是OpenAI與Microsoft，也不是 Google，而是AI晶片生產商輝達（NVIDIA），年初以來該公司股價已暴漲逾174%。於是不少公司湧入AI晶片市場，試圖分一杯羹，當中以科技巨頭Google最為進取，推出號稱效能比NVIDIA更強的AI晶片，但卻似乎難以撼動對方——輝達市值在5月底曾突破1兆美元關口，一度成為史上第７家進入兆元級俱樂部的大企業！究竟NVIDIA是如何建立鐵桶般穩固的AI晶片霸業呢？

ChatGPT運算靠NVIDIA GPU

　　OpenAI為了訓練ChatGPT背後的GPT大型語言模型，豪擲1億美元（約7.8億港元），採購10,000枚NVIDIA A100 圖像處理器（Graphics Processing Unit，GPU）來進行運算。輝達創辦人兼執行長黃仁勳表示，世上首台用於AI運算、內含NVIDIA GPU的超級電腦DGX，正是由他親手交給OpenAI。

黃仁勳在世上第一部DGX超級電腦上簽名後，交親手交給OpenAI的負責人。（圖片來源：翻攝NVIDIA官方YouTube影片）

　　黃仁勳坦言，當初沒有想過GPU可以應用於AI深度學習（Deep Learning）之上。NVIDIA創立於1993年，以GPU作主力產品，聚焦於遊戲圖形運算——不少電腦遊戲玩家為求享受更佳的3D圖像顯示效果，不惜大破慳囊購入NVIDIA晶片顯示卡，當年筆者也因此而貢獻了不少金錢給輝達。

　　後來，有AI研究人員發現，GPU支援「平行運算」（Parallel Computing）的特性，原來非常適合用於需要計算大量數據的AI模型建立。所謂「平行運算」，意指同時使用多種運算資源來執行電腦指令，以解決運算問題；其基礎概念是將需運算的內容分割成小部分，之後以並行方式來加速運算。

AI教父讚揚GPU的AI運算潛能

　　OpenAI聯合創辦人暨首席科學家伊利亞·蘇茨克維爾（Ilya Sutskever）稱，初時不知道GPU可以用在哪裏，之後才發現大型視覺資料庫「ImageNet」很適合用GPU來運算，更讓數據訓練達到前所未有的規模。蘇茨克維爾的老師、有「AI教父」之稱的謝菲·辛頓（Geoffrey Hinton）更揚言：「GPU將會是機器學習（Machine Learning）的未來。」

「AI教父」謝菲·辛頓（右）與兩名愛徒亞歷克斯·克里舍夫斯基（中）、伊利亞·蘇茨克維爾（左）均認為，GPU非常適合用於AI運算。（圖片來源：多倫多大學官網）

　　2012年，辛頓的另一高足亞歷克斯·克里舍夫斯基（Alex Krishevsky），利用２張NVIDIA顯示卡與120萬張圖片來建立AI模型，錯誤率從一年前的25%大幅下降至15%，獲得飛躍式進步。如此成果除令到克里舍夫斯基在學術界打響名堂外，亦激勵了Google、微軟（Microsoft）、以及亞馬遜（Amazon）等爭相進入AI領域。

　　隨著AI研究開始變得興旺，市場對AI晶片的需求自然大增。看到此商機者又豈止黃仁勳一人呢？當年有不少初創公司摩拳擦掌，準備研發GPU，搶攻AI運算市場。NVIDIA之所以能夠突圍而出，全賴黃仁勳敢於作出一個不被外界看好的重大決定——研發《CUDA》（Compute Unified Device Architecture）。

當日黃仁勳決定大舉投資開發《CUDA》時，曾被不少投資者和分析師看衰，最終證明他橫眉冷對千夫指之決定是正確的，造就了今日NVIDIA的AI晶片霸業。（圖片來源：NVIDIA官網）

研發CUDA造就輝達鐵桶江山

　　《CUDA》是一個為編程人員而設的開發工具平台，基於《CUDA》編寫的程式可以讓NVIDIA GPU進行圖像處理以外的運算，而AI運算當然是首選之列。AI工程師在《CUDA》上進行編程，不用再編寫低階程式語法，可以直接運用C++或Java等高階語法來撰寫運行於GPU的演算法，輕鬆解決平行運算中複雜的技術問題；加上NVIDIA大力投放資源來改良《CUDA》，讓它跟著每一代GPU發展不斷優化，最終成為AI開發上必不可少的底層軟件。

　　目前全球逾3,000家的AI初創企業，大部分都建基於《CUDA》平台上進行研發，2022年《CUDA》下載量更高達2,500萬次。換言之，NVIDIA的《CUDA》就好像蘋果（Apple）的《iOS》作業系統，紮根於底層軟件，逐漸發展成龐大的軟件生態圈，讓AI工程師離不開《CUDA》，形成後來者難以攻入的防禦壁壘。

　　然而，當競爭對手換作是財雄勢大的Google，NVIDIA又能否抵禦呢？自2016年起，Google便著手開發適用於AI運算的「張量處理器」（Tensor Processing Unit，TPU），把它用於公司內部逾90%的AI模型訓練工作；自2018年起，Google更將TPU提供給第三方廠商使用。

Google TPU挑戰NVIDIA GPU

　　Google於2023年4月發表的論文闡述，如何用自家研發的光纖交換器串聯逾4,000枚第四代晶片「TPU v4」，合組成AI超級電腦。測試結果顯示，TPU v4超級電腦的運算速度比NVIDIA A100晶片驅動的同類型系統快上1.2至1.7倍，惟耗電量卻減少1.3至1.9倍。

　　除積極部署TPU外，Google也著手於重組公司內部架構，務求將更多人力資源調撥到AI研發上。開發語音助理Google Assistant的部門已將Bard列為優先發展項目，隨後Google更委派商務部門副總裁佩尤什·蘭詹（Peeyush Ranjan）出任該部門主管，可見Bard搭配TPU的發展方向之一是語音聊天應用。

　　可是，外界認為Google的連番舉措，根本難以動搖NVIDIA的AI晶片龍頭地位。究其原委，NVIDIA的AI晶片技術仍是遙遙領先於對手。在Google的論文中，只將NVIDIA上代晶片A100列作TPU v4的比較對象，但目前輝達的主打產品卻是新一代的H100。這款新晶片採用更先進的台積電4奈米製程，運算速度是A100的4倍，故此效能大幅拋離TPU v4。

Google於2021年推出TPU v4，宣稱運算效能是NVIDIA A100的1.7倍。但NVIDIA最新AI晶片H100的效能，卻是A100的4倍，反過來說，也就是TPU v4的2倍以上。（圖片來源：Google官方網誌）

黃仁勳高呼CPU摩爾定律已死

　　再者，NVIDIA很早進入AI晶片市場，大部分AI公司已慣用其軟硬件產品來開發和訓練AI模型。因此，科技大廠如想在AI競賽中強化本身實力，都傾向搶購NVIDIA晶片。市調機構TrendForce評估，NVIDIA GPU現已成為AI伺服器的主流配置，市佔率上看70%。另一國際市調機構Gartner分析師奇拉格·迪凱特（Chirag Dekate）指出，輝達不但是一家GPU運算公司，更是一家AI超級運算公司，當下NVIDIA已成為AI的代名詞。

在NVIDIA GTC 2023大會上，OpenAI首席科學家伊利亞·蘇茨克維爾（右）與黃仁勳對談時表示，GPU是訓練GPT模型的關鍵環節。（圖片來源：NVIDIA官網）

　　儘管如此，NVIDIA卻不敢怠慢，反而加快版圖擴張的腳步。2023年5月，黃仁勳在台北國際電腦展Computex上發表主題演說，揚言過去30年間驅動電腦高速發展的摩爾定律（Moore's law），現已走到盡頭了。根據英特爾（Intel）提出的摩爾定律，因製程技術提升，中央處理器（Central Processing Unit，CPU）上可容納的電晶體密度和運算效能，每隔18至24個月便會增加一倍。一直以來，此定律都是半導體製程技術推進速度的遵循依據。

黃仁勳在Computex 2023電腦展發表主題演講，強調過去5年GPU效能已提升1,000倍，完全打破了摩爾定律！（圖片來源：翻攝NVIDIA官方YouTube影片）

專為遊戲玩家而設的NVIDIA GeForce RTX 40系列GPU，支援DLSS 3人工智能繪圖技術，可運用AI創造額外的高質畫面。（圖片來源：NVIDIA官網）

　　黃仁勳指出，隨著晶片面積不斷縮小，摩爾定律將面臨到物理極限；而水漲船高的先進製程定價，也使CPU在相同成本下每五年獲得10倍效能提升的定律，難以持續下去，致使CPU不能再像昔日般飛快升級。他直言，如要解決CPU發展瓶頸所造成的問題，就需要有新的運算解決方案——利用GPU協助CPU來加速運算，以加快電腦系統的運行速度。

　　黃氏言下之意，是要以GPU取代CPU的主導角色，推進整個科技產業繼續向前邁進。他宣稱，過去5年NVIDIA GPU的效能已暴增1,000倍，比起摩爾定律下CPU約2年遞升1倍更為快速。

搭載H100 GPU的AI伺服器定價高昂，預計售價為4萬美元（約31.2萬港元），惟黃仁勳解釋指，NVIDIA AI伺服器擁有高運算力和低功耗的特點，不但更適合用於生成式AI的訓練任務，還可幫助企業大幅節省電力開支。（圖片來源：翻攝NVIDIA官方YouTube影片）

NVIDIA全面搶攻數據中心市場

　　AI運算要依靠數據中心的伺服器，而黃仁勳就高喊：「數據中心就是電腦」（Data center is the computer），並強調NVIDIA將以此為發展重心，可見輝達將全面搶攻數據中心市場。目前全球數據中心的運算仍是Intel CPU的天下，但生成式AI的出現，卻為NVIDIA GPU帶來變天的機會。

　　隨著生成式AI的使用量日益增加，數據中心需要計算的數據量也日趨龐大。當CPU技術發展停滯不前，數據中心營運者為求有更高速的運算表現，自然會轉投GPU的懷抱。瑞銀（UBS）預測，在1至2年內，由AI催生的GPU需求將增加到100億至150億美元（約780億至1,170億港元），而NVIDIA從數據中心獲得的年度收入可望倍增。

　　黃仁勳於2023年5月底宣布，新一代AI超級電腦DGX GH200已獲Microsoft、Google Cloud、以及Meta採用，正好印證了此趨勢。瑞穗銀行（Mizuho）分析師喬丹·克萊恩（Jordan Klein）指出，Intel CPU的伺服器市場份額正逐漸流失給GPU，而英特爾在AI競賽中明顯處於劣勢。

專為生成式AI而設的NVIDIA超級電腦DGX GH200，將256個Grace Hopper超級晶片串連起來，能夠將其作為單一GPU使用，並內置144 TB龐大記憶體，已獲Google Cloud、Meta與微軟率先採用。（圖片來源：翻攝NVIDIA官方YouTube影片）

　　至於超微（AMD），是目前市場上除NVIDIA以外另一家真正的GPU生產商，同時又兼具CPU製造能力，故此其競爭優勢比Intel為佳，惟要追上NVIDIA依然有漫長的路要走。由是觀之，在AI晶片市場上，如今輝達已是難覓對手；在這個生成式AI盛世下，該公司更將迎來巨大的成長動能，讓其鐵桶江山變得更加穩固！

延伸閱讀：

搶攻Metaverse！NVIDIA靠GPU晶片與「Omniverse」上位，成元宇宙真正贏家？

Google AI反擊戰！Bard用圖片答問題，Google搜尋直接生成答案！會損害全球網站利益？

AI發展太快惹恐慌！歐盟、加拿大搶先全球立法規管！OpenAI建議華府成立專責監管機構