恰好就為谷歌解決了這個(gè)問(wèn)題?？ǘ级遗c亞馬遜自己的算成業(yè)務(wù)還沒(méi)有緊密結(jié)合起來(lái)。Eagle則是無(wú)底虎鯨，還是黑洞難以媲美GPU。而不再緊緊作為云托管方案。卡都為xAI的算成Grok模型提供動(dòng)力。盡管xAI的無(wú)底AI超算目標(biāo)已經(jīng)明確，比如近期傳出正在秘密研發(fā)Metis聊天機(jī)器人的黑洞亞馬遜。就連馬斯克自己也將其列入“遠(yuǎn)景計(jì)劃”之列?？ǘ歼@臺(tái)超算為OpenAI的算成GPT-4訓(xùn)練和推理提供了極大的助力，TPU幾乎將所有的無(wú)底面積都分給了低精度的張量計(jì)算單元。用于已經(jīng)成功商業(yè)化模型的黑洞降本增效屬于不錯(cuò)的選擇，即便微軟這樣的卡都商業(yè)巨頭也很難撐起成本的劇增。谷歌本身作為在AI算法和大模型上耕耘了諸多時(shí)間的算成巨頭，Kevin Scott更是無(wú)底強(qiáng)調(diào)，很明顯，除此之外，但其核心數(shù)已經(jīng)近乎翻倍。也有不少迎頭趕上的機(jī)會(huì)，但其內(nèi)部也在繼續(xù)發(fā)展自研的Dojo超算。馬斯克已經(jīng)開(kāi)始眼饞最新的B200了。也就是Eagle，亞馬遜同樣擁有自研服務(wù)器芯片的技術(shù)積累，xAI拉攏戴爾和超微打造AI超算，據(jù)馬斯克透露，2020年，不過(guò)馬斯克隨即表示，似乎只會(huì)被大公司掌握在手中。戴爾只是其中一半服務(wù)器集群的供應(yīng)商，其技術(shù)路線依舊不算明朗。但更像是一個(gè)性?xún)r(jià)比之選。卻決定了他們?cè)谥蟮氖畮啄昀锬芊窭^續(xù)制霸下去。

由此推測(cè)，其邊際效應(yīng)已經(jīng)變得越來(lái)越大?！蚌L級(jí)”超算已在全速運(yùn)轉(zhuǎn)中相信不少人都還記得去年11月首度上榜TOP500的微軟超算Eagle，也就是說(shuō)每月都有至少搭載72000個(gè)H100 GPU或同等規(guī)模系統(tǒng)投入應(yīng)用，但大多數(shù)人開(kāi)口問(wèn)的第一句話就是，作為已經(jīng)憑借OpenAI獲得成功的微軟來(lái)說(shuō)，但谷歌作為云服務(wù)廠商巨頭還是逃不開(kāi)通用性的問(wèn)題，早在3月底，但如果想要在這個(gè)競(jìng)爭(zhēng)激烈的大模型市場(chǎng)殺出重圍，不僅讓Azure系統(tǒng)再次闖進(jìn)了前十，英偉達(dá)也推出了L4 GPU這樣的對(duì)應(yīng)方案。在不少AI芯片廠商的宣傳中，AI加速器相關(guān)的產(chǎn)品（Inferentia和Trainium）依舊有比較大的改進(jìn)空間，也不會(huì)讓廠商面臨供電和碳足跡的雙重困擾。在今年GTC上，而他們構(gòu)建的下一個(gè)系統(tǒng)，微軟為OpenAI打造了第一臺(tái)AI超算，他們用來(lái)連接GPU的高速和InfiniBand線纜可以繞地球至少五周，H100無(wú)論是顯存容量、比如首臺(tái)超算可以用鯊魚(yú)來(lái)描述，在谷歌和其他大模型開(kāi)發(fā)者的眼中，至于未來(lái)更復(fù)雜的圖形處理，基于谷歌云的A3實(shí)例為開(kāi)發(fā)者提供DGX Cloud的云端LLM托管方案，不過(guò)這也多虧了背后的金主埃隆馬斯克。而當(dāng)時(shí)的Azure還未部署完成，Kevin Scott選擇了用海洋生物來(lái)描述這些超算的規(guī)模，而Scaling Laws這一擴(kuò)展法則定義了三者之間勢(shì)必會(huì)存在某種比例擴(kuò)展，且不說(shuō)性能提升有限，盡管有兩家供應(yīng)商同時(shí)為xAI打造服務(wù)器，更何況在能耗成本上，可就是這樣微不可察的差距，然而在GTC之后，在構(gòu)建算力基礎(chǔ)設(shè)施的投入上卻一點(diǎn)也不含糊，H100這張2023年發(fā)布的GPU可以說(shuō)是目前全球大模型算力供應(yīng)的主力，另外一半的超算系統(tǒng)則是由超微打造。谷歌的云服務(wù)部門(mén)也宣布和英偉達(dá)達(dá)成深度合作關(guān)系，還拿下了當(dāng)下云端超算最高的排名。TPU和GPU一并重要。就連谷歌自己的JAX框架，很有可能后續(xù)也會(huì)加強(qiáng)在GPU上的投入，只不過(guò)如今看來(lái)，盡管TPU支持PyTorch、只不過(guò)近年來(lái)Dojo的情報(bào)越來(lái)越少，但在追求極致性能的選擇上，重要性已經(jīng)等同于英偉達(dá)的GPU了。每月帶來(lái)2.8exaflops的算力增長(zhǎng)。正因如此，但這遠(yuǎn)沒(méi)有達(dá)到微軟的財(cái)力極限。甚至可以說(shuō)H100帶動(dòng)了這一代AI大模型的發(fā)展，那就只有谷歌能將TPU物盡其用。可在H100這種規(guī)模的GPU上，微軟CTO Kevin Scott稱(chēng)不少有關(guān)其超算計(jì)劃的推測(cè)簡(jiǎn)直錯(cuò)得可笑，全力追逐Scaling Laws的大廠們對(duì)于AI大模型而言，TPU固然性能不弱，他認(rèn)為考慮到目前的技術(shù)演進(jìn)速度，Tensorflow等常見(jiàn)AI模型，近日，雖然最新的排名中Eagle依然維持在第三的位置，B200相比H100改善了20多倍，將英偉達(dá)的GPU還是定性為圖形處理單元。則用于訓(xùn)練GPT-4。數(shù)據(jù)集大小和計(jì)算成本之間不僅組成了三元關(guān)系，戴爾CEO Michael Dell宣布他們正在打造一個(gè)由英偉達(dá)GPU驅(qū)動(dòng)的AI工廠，模型大小、別看現(xiàn)在Eagle可以排到第三名的位置，數(shù)據(jù)優(yōu)化和爆款應(yīng)用的研究從來(lái)沒(méi)有終止，也毫不輸某些專(zhuān)用開(kāi)發(fā)環(huán)境下的ASIC，馬斯克繼續(xù)買(mǎi)買(mǎi)買(mǎi)xAI作為2023年3月才成立的一家初創(chuàng)公司，正是因?yàn)檫@臺(tái)機(jī)器才孕育了GPT-3。實(shí)在不值得把1GW的電力供應(yīng)給H100。無(wú)論是性能和能效，即便后入局的巨頭，這也是對(duì)現(xiàn)有H100機(jī)器的升級(jí)。在英偉達(dá)的GPU上得到了支持?？梢钥闯?，也在雙方的合作之下，還需要幾個(gè)月這一集群才會(huì)正式上線，雖然特斯拉也開(kāi)啟了新一輪的英偉達(dá)GPU采購(gòu)潮，谷歌的TPU更多是為Gemini的模型做了優(yōu)化，如果亞馬遜愿意去打造這樣一個(gè)聊天機(jī)器人應(yīng)用，耗資高達(dá)1000億美元。為此xAI也已經(jīng)開(kāi)始在規(guī)劃下一代系統(tǒng)，在邊際效應(yīng)的影響下，更是可以輕松做到單機(jī)柜1exaflop的算力表現(xiàn)，這一AI工廠應(yīng)該就是馬斯克在月初提到的10萬(wàn)塊H100液冷訓(xùn)練集群了，盡管對(duì)于深度學(xué)習(xí)、以GPT為例，“你有卡嗎”？從行業(yè)對(duì)GPU的狂熱追求來(lái)看，B200速度高達(dá)H100的4倍，但對(duì)于馬斯克旗下的另一家公司特斯拉而言，也就是說(shuō)長(zhǎng)度在20萬(wàn)公里以上總線纜長(zhǎng)度。甚至對(duì)于AI大模型的常見(jiàn)應(yīng)用聊天機(jī)器人來(lái)說(shuō)只是速度和精度上的一些差距，在上個(gè)月舉辦的Microsoft Build中，該系統(tǒng)將由30萬(wàn)塊B200 GPU組成，TPU作為谷歌和博通聯(lián)合設(shè)計(jì)了幾代的產(chǎn)品，在谷歌自己推出的各種新模型訓(xùn)練與推理中，通過(guò)英偉達(dá)的H100和L4 GPU支持使用其云服務(wù)的AI開(kāi)發(fā)者。

電子報(bào)道（文/周凱揚(yáng)）AI大模型似乎陷入了一個(gè)怪圈，這種ASIC方案也讓谷歌大幅降低了打造AI Hypercomputer的成本。微軟作為已經(jīng)在操作系統(tǒng)上實(shí)現(xiàn)霸權(quán)地位的廠商，谷歌還是采取兩手抓的策略，同時(shí)，未來(lái)繼續(xù)擴(kuò)展大模型的機(jī)會(huì)，但市面上的GPU需求依然維持在高位，用于Grok的下一代大模型迭代。如果GPT-6繼續(xù)按照這樣的比例擴(kuò)展下去，接下來(lái)需要贏下的就是這場(chǎng)Scaling之戰(zhàn)。從現(xiàn)在開(kāi)始微軟每個(gè)月都會(huì)部署五臺(tái)同樣規(guī)模的超算，帶寬和算力性能都實(shí)現(xiàn)了一輪新的突破，TPU和GPU并用，自然也明白先入為主的重要性。從設(shè)計(jì)芯片之初就知道他們需要何種計(jì)算資源，為了抬高自己的專(zhuān)用產(chǎn)品定位，但也指出他們確實(shí)會(huì)為這一計(jì)劃付出不少努力和成本。就有消息傳出微軟和OpenAI正在打造一個(gè)代號(hào)名為“星門(mén)”的AI超算，已經(jīng)迭代至第六代的谷歌TPU，OpenAI與微軟，其最新模型都是基于該GPU訓(xùn)練迭代的。正因如此，Kevin Scott公開(kāi)透露了他們未來(lái)的超算擴(kuò)展計(jì)劃。但主要優(yōu)勢(shì)還是在CPU上，但真的成功將其用于大模型的訓(xùn)練中去的，即便是大規(guī)模部署，無(wú)論是OpenAI還是xAI，谷歌的Hypercomputer盡管不少巨頭都在考慮如何自研芯片來(lái)降低購(gòu)置海量GPU帶來(lái)的成本，而他們的下一臺(tái)超算規(guī)模則可以比擬藍(lán)鯨。也代表了模型性能。這臺(tái)空降第三的AI超算憑借14400個(gè)英偉達(dá)H100和561PFlop/s的算力，但上線時(shí)間需要等到明年夏天了。同時(shí)谷歌也將購(gòu)置GB200 NVL72系統(tǒng)，