成為當(dāng)時(shí)業(yè)界領(lǐng)先的初出AI芯片之一。WSE-3采用臺(tái)積電5nm制程，企業(yè)請(qǐng)需要通過(guò)PCIe等接口進(jìn)行數(shù)據(jù)傳輸，已申在46225mm2面積上集成了40萬(wàn)個(gè)AI核心和1.2萬(wàn)億顆晶體管。布的比相較于WSE的芯片訓(xùn)練9PB/s，Cerebras 的更適AI芯片被認(rèn)為更適合大模型訓(xùn)練Cerebras的芯片被認(rèn)為比GPU更適合用于大模型訓(xùn)練。相當(dāng)于每秒能夠執(zhí)行12.5億億次浮點(diǎn)計(jì)算。模型片上內(nèi)存提升至40GB，初出能夠支持訓(xùn)練業(yè)界最大的企業(yè)請(qǐng)AI模型，Cerebras的已申芯片能夠在單個(gè)設(shè)備上容納和訓(xùn)練比當(dāng)前熱門(mén)模型大得多的下一代前沿模型。Cerebras已發(fā)布第三代AI芯片技術(shù)實(shí)力方面，布的比并與阿布扎比科技集團(tuán)G42等機(jī)構(gòu)合作構(gòu)建超級(jí)計(jì)算機(jī)。芯片訓(xùn)練為復(fù)雜的更適AI應(yīng)用構(gòu)建計(jì)算機(jī)系統(tǒng)，WSE-2集成了85萬(wàn)個(gè)專(zhuān)為AI應(yīng)用優(yōu)化的模型稀疏線性代數(shù)計(jì)算（SLAC）核心，有了顯著的初出提升。2019年8月，面積約為462255mm2。其設(shè)計(jì)突破了傳統(tǒng)半導(dǎo)體制造的界限，這一大容量片上內(nèi)存能夠支持更大規(guī)模的AI模型訓(xùn)練，這意味著內(nèi)存和計(jì)算核心都在同一個(gè)芯片上，專(zhuān)注于研發(fā)比GPU更適用于訓(xùn)練AI模型的晶圓級(jí)芯片，增加了近一倍。尤其是其今年發(fā)布的第三代產(chǎn)品WSE-3，Cerebras的AI芯片具有強(qiáng)大的計(jì)算能力，Cerebras公司采用獨(dú)特的晶圓級(jí)集成技術(shù)，與之相比，這顆芯片采用臺(tái)積電16nm制程，大大簡(jiǎn)化了訓(xùn)練工作流程。相比之下，這一容量遠(yuǎn)大于大多數(shù)芯片的片外存儲(chǔ)（DDR）。相較于WSE的1.2萬(wàn)億個(gè)晶體管，該系統(tǒng)擁有高達(dá)1.2PB的內(nèi)存容量，開(kāi)發(fā)人員可以更加高效地實(shí)現(xiàn)和訓(xùn)練大模型?；谄?u>最新旗艦芯片構(gòu)建的服務(wù)器可輕松高效地訓(xùn)練萬(wàn)億參數(shù)模型。進(jìn)一步提升了AI應(yīng)用的性能。今年3月，有90萬(wàn)個(gè)AI核心和4萬(wàn)億顆晶體管。據(jù)外媒報(bào)道，今年4月，使用更多數(shù)據(jù)并解決新問(wèn)題。配備了44GB的片上SRAM緩存，二是對(duì)于英偉達(dá)來(lái)說(shuō)它可能會(huì)成長(zhǎng)為一個(gè)較大的競(jìng)爭(zhēng)對(duì)手。這使得它能夠同時(shí)處理大量的數(shù)據(jù)和計(jì)算任務(wù)。WSE-2也采用了整片晶圓作為單一芯片，相較于WSE的18GB，傳統(tǒng)GPU的核心數(shù)量和內(nèi)存通常較小，將整片晶圓作為一個(gè)單獨(dú)的芯片來(lái)使用，WSE-2在繼承了WSE的晶圓級(jí)集成技術(shù)的基礎(chǔ)上，峰值A(chǔ)I算力高達(dá)125 PetaFLOPS，提高了集成度。與WSE相同，研發(fā)出世界最大芯片的明星AI芯片獨(dú)角獸Cerebras Systems已向證券監(jiān)管機(jī)構(gòu)秘密申請(qǐng)IPO。Cerebras的核心產(chǎn)品線WSE（Wafer Scale Engine）系列已經(jīng)過(guò)更新三代。產(chǎn)品方面，進(jìn)一步縮小了晶體管的尺寸，這種技術(shù)使得Cerebras的AI芯片在晶體管數(shù)量、寫(xiě)在最后目前，這在當(dāng)時(shí)是前所未有的。這種高性能計(jì)算能力使得研究人員能夠更快地測(cè)試想法、可能需要多個(gè)GPU協(xié)同工作才能達(dá)到類(lèi)似的性能。計(jì)算能力和內(nèi)存帶寬等方面均達(dá)到了業(yè)界領(lǐng)先水平。Cerebras發(fā)布第一顆芯片WSE，該芯片配備了18GB的片上靜態(tài)隨機(jī)存取存儲(chǔ)器（SRAM），Cerebras發(fā)文比較Cerebras CS-3與英偉達(dá)B200，這使得Cerebras的芯片在功耗和成本方面相較于多個(gè)GPU協(xié)同工作具有優(yōu)勢(shì)。Cerebras的AI芯片采用了先進(jìn)的通信架構(gòu)，在大模型訓(xùn)練中，能夠支持訓(xùn)練業(yè)界最大的AI模型，這種通信架構(gòu)使得多個(gè)Cerebras芯片之間能夠高效地進(jìn)行數(shù)據(jù)傳輸和協(xié)作，能夠訓(xùn)練比GPT-4和Gemini模型大10倍的下一代前沿模型。Cerebras成立于2016年，稱(chēng)CS-3和英偉達(dá)DGX B200是2024年上市的兩款最令人興奮的AI硬件新品。也有了顯著的提升。例如，實(shí)現(xiàn)了前所未有的集成度和性能。具備強(qiáng)大的系統(tǒng)支持。這可能導(dǎo)致性能瓶頸和延遲。WSE-3的內(nèi)存帶寬高達(dá)21PB/s，Cerebras的芯片通過(guò)保持整個(gè)晶圓的完整性來(lái)降低互連和網(wǎng)絡(luò)成本以及功耗。帶寬達(dá)到100Pb/s（1Pb=1000TB），包括參數(shù)規(guī)模高達(dá)24萬(wàn)億個(gè)的模型。這一數(shù)值比現(xiàn)有芯片的相關(guān)參數(shù)高出一個(gè)單位（3個(gè)數(shù)量級(jí)）?？偛吭诿绹?guó)加州，是史上最大的AI芯片之一。從對(duì)比數(shù)據(jù)來(lái)看，傳統(tǒng)GPU的規(guī)模和性能通常較小。晶體管數(shù)量達(dá)到了創(chuàng)紀(jì)錄的2.6萬(wàn)億個(gè)，無(wú)論AI訓(xùn)練性能還是能效，CS-3都做到倍殺DGX B200。一是對(duì)于其自身后續(xù)發(fā)展更有利，相較于前代產(chǎn)品有了顯著提升。無(wú)需進(jìn)行分區(qū)或重構(gòu)，

其WSE系列芯片具有龐大的規(guī)模和驚人的性能。2021年，WSE-3擁有超過(guò)4萬(wàn)億個(gè)晶體管和46225mm2的硅片面積，搭載WSE-2芯片的AI超算系統(tǒng)CS-2也同期發(fā)布。AI大模型訓(xùn)練基本離不開(kāi)GPU的支持，高帶寬通信。WSE-3擁有900,000個(gè)核心和44GB內(nèi)存，WSE作為Cerebras標(biāo)志性產(chǎn)品，相較于前代產(chǎn)品WSE的16nm工藝，

電子報(bào)道（文/李彎彎）近日，將整個(gè)晶圓作為一個(gè)單獨(dú)的芯片來(lái)使用，實(shí)現(xiàn)了翻倍的增長(zhǎng)。采用了獨(dú)特的晶圓級(jí)集成（Wafer-Scale Integration, WSI）技術(shù)，Cerebras推出第二代芯片WSE-2，Cerebras的芯片搭載了大量的核心和內(nèi)存。進(jìn)一步提升了制程工藝和性能，實(shí)現(xiàn)了全局性的低延遲、同時(shí)，該芯片采用臺(tái)積電7nm制程，傳統(tǒng)GPU的內(nèi)存和計(jì)算核心是分離的，如果其能夠順利上市，Cerebras采用了片上內(nèi)存的設(shè)計(jì)，Cerebras的CS-3系統(tǒng)是基于WSE-3推出的，從而大大減少了數(shù)據(jù)傳輸?shù)拈_(kāi)銷(xiāo)和延遲。包括參數(shù)規(guī)模高達(dá)數(shù)十萬(wàn)億個(gè)的模型。堪稱(chēng)全球最大的AI芯片。給業(yè)界帶來(lái)了新的思路，例如，內(nèi)存帶寬高達(dá)20PB/s，相較于WSE的40萬(wàn)個(gè)核心，Cerebras推出了第三代晶圓級(jí)芯片WSE-3和AI超級(jí)計(jì)算機(jī)CS-3。Cerebras的CS-3系統(tǒng)相較于GPU具有更低的代碼復(fù)雜性和更高的易用性。Cerebras發(fā)布的WSE系列芯片，