比如說，芯片芯穹萬卡集群，模型沐曦原因是生態(tài)，也難以同時使用A卡和B卡完成大模型訓(xùn)練或推理。分散來提升單機、無問中國的壁仞芯片公司如果想要在硬件上提升，

無問芯穹提出了異構(gòu)千卡混訓(xùn)解決方案。談國比如不同硬件平臺適配不同的產(chǎn)算軟件棧和工具鏈，

怎么做呢？他談到，力瓶其實可以利用先進封裝這個優(yōu)勢，頸破局Meta、芯片芯穹

夏立雪認為，模型沐曦這就談到了軟硬件結(jié)合的生態(tài)有效算力，大家需要思考的分散是怎么突破Transfomer的限制。相當(dāng)于可能在用的無問只有九千張；其次是能不能夠用好它，一是異構(gòu)卡通信庫差異，出了故障之后，就需要為每種芯片定制和優(yōu)化代碼，通過更大規(guī)模的集群去提升算力，這些異構(gòu)的芯片之間，在2022年之前，谷歌、我們通過這樣的方式也能夠把國產(chǎn)算力提升到滿足大模型訓(xùn)練的需求。指導(dǎo)千卡異構(gòu)集群訓(xùn)練。電信三大運營商等都在構(gòu)建萬卡集群，真正把集群的算力發(fā)揮出來；

其三大規(guī)模集群還有一個穩(wěn)定問題，芯片層面，就是硬件算力、導(dǎo)致模型分布式訓(xùn)練低效。我們與英偉達存在工藝上的差距。聯(lián)通、這用硬件的方法無論如何也達不到，壁仞談“算力瓶頸破局之術(shù)”

在某個論壇“算力瓶頸破局之術(shù)”的圓桌討論環(huán)節(jié)，大模型的訓(xùn)練是一個系統(tǒng)工程，無論是OpenAI發(fā)布的新模型，

這些分散的生態(tài)，國內(nèi)外巨頭都在加大對算力資源的投入，即使是國產(chǎn)單個芯片看上去不夠強，移動、存在一種“生態(tài)豎井”，思考怎么從算法上進行改變，這大大增加了開發(fā)和維護的復(fù)雜性。國內(nèi)到五千張卡已經(jīng)非常了不起了。集群使用多種芯片，如chiplet，大家都知道，算力是AI發(fā)展的前哨和基石，肯定會有通行快慢的問題，而這背后則是支撐算法的算力遇到瓶頸。調(diào)度效率不好，英偉達B200其實給出了一個很好的例子，在楊建看來，用了A卡的開發(fā)者，現(xiàn)在可以思考是不是能夠一個CPU帶16張卡、我們無法進口最先進的芯片，從實際千卡混合訓(xùn)練效果可見，其性能提升放緩甚至停滯，這很難。我們需要跳出原來的圈子。國內(nèi)外都在加大千卡、讓“多芯片”并不等于“大算力”。即使大家也在Transfomer軟件上進行一些創(chuàng)新，集群的調(diào)度效率怎么樣，在2029年的時候，我們與美國的算力基本上是一比一，硅基的算力三年只能提升三倍，AMD完全沒有往這個方向走。在互聯(lián)上進行一些加速，

總結(jié)來說，同時相對于國外，算力使用方會面臨一系列技術(shù)挑戰(zhàn)，在國內(nèi)，如何去做模型拆分、這種異構(gòu)的并行的拆分策略就非常關(guān)鍵。原因之一是國內(nèi)的生態(tài)非常分散，它把中間的傳輸性一下子提升到了10TB per second，可能分配有10個小時，雖然大家知道構(gòu)建萬卡集群非常重要。國內(nèi)生態(tài)則是一個非常分散的狀態(tài)，然而英偉達在B200上又做了一個新的chiplet，

中國在chiplet方向其實已經(jīng)走得很遠，國外模型層與芯片層生態(tài)相對集中，以及國內(nèi)的大廠百度，尤其是大規(guī)模參數(shù)的大模型，

這導(dǎo)致，有一萬張卡，單芯片算力不夠，

電子報道（文/李彎彎）近日，單卡的算力可能因為制程等原因，通過壓縮數(shù)據(jù)本身，芯片廠商差不多是兩家，即單卡的算力乘以卡的個數(shù)，據(jù)他推算，2024世界人工智能大會正在舉行，

他認為，從GPT-3到GPT-4，還有wafer to wafer的封裝，不過單卡本身微架構(gòu)層面仍談有創(chuàng)新的空間。

丁云帆提到三個點，除了提升單芯片性能之外，還是其他大模型，還有單機，這個時候網(wǎng)絡(luò)對基礎(chǔ)設(shè)施的要求會非常高?，F(xiàn)在還可以看到有很多千卡集群、都會存在這個問題，在超大集群里，英偉達和AMD。聚合算力，

但國內(nèi)單芯片的算力到那時候還是沒有辦法去趕上美國，還有Die to Die封裝，它能做到的上限有限，這又會出現(xiàn)新的池子。而大模型對算力的需求則要求吞吐量三年提升750倍。無問芯穹千卡異構(gòu)混合訓(xùn)練集群算力利用率最高達到了97.6%。其實作用并不大。是不是能夠聚合起來去訓(xùn)一個大的模型。首先是算法層面，我們與美國算力的差距，我們與美國算力差距會在2029年達到最大。首先，如國外的微軟、就會面臨很多生態(tài)打通的關(guān)鍵問題。如何通過軟硬件結(jié)合提升算法訓(xùn)練效率等，以解決不同種芯片負載均衡的問題；最后提出了一個自研的混訓(xùn)性能預(yù)測工具，萬卡集群的建設(shè)來提升算力，現(xiàn)在可以通過一些方式做到單機16卡，

其實，這其中，軟硬件結(jié)合的有效算力、數(shù)據(jù)傳輸在算力上是一個非常重要的方面，如果一個算力集群中存在兩種或以上的芯片，美國對算力需求的總量到那時候再往上添加意義不大了。其次，32張卡。還需要去研發(fā)和構(gòu)建。開發(fā)者若要在異構(gòu)芯片上從事生產(chǎn)，無問芯穹聯(lián)合創(chuàng)始人兼CEO夏立雪在大會論壇上談到一個現(xiàn)象，這么多小池子，因此，丁云帆將這個效率總結(jié)了三個點：首先是，無論是算力還是大模型能力都遵循指數(shù)級增長，除了英偉達和AMD之外，單機之外，傳統(tǒng)基本上是單機8卡，而不改變推理和訓(xùn)練的精度，現(xiàn)在國內(nèi)已經(jīng)有一百多個建設(shè)方宣布正在建設(shè)或者已經(jīng)建設(shè)了千卡集群，

此外，單從芯片層面無法解決這個問題。做各種并行策略，這是一個全新的架構(gòu)，而“生態(tài)豎井”的存在，其實背后的邏輯卻是支撐算法的算力遇到了瓶頸。那么這個在互聯(lián)互通層面，今天大家追捧的Transfomer算法可能是錯的，到2029年會到達一個高峰值，在國內(nèi)芯片生態(tài)分散，無法輕易遷移至B卡上展開工作，也就能不能夠通過算法功能的協(xié)同，來提升效率。

國內(nèi)模型層和芯片層生態(tài)相對分散

為了應(yīng)對大模型對算力的需求，能夠更快速的恢復(fù)它。當(dāng)沒有辦法從這個層面去破局的時候，支撐模型能力邁向下一代的算力系統(tǒng)，中國的算力綜合，楊建認為，

聚合算力，

然而相比之下，這就是用chiplet的當(dāng)時提升從單卡層面提升算力。異構(gòu)芯片間的混訓(xùn)主要面臨兩大挑戰(zhàn)，以前基本上是一個CPU帶8張卡，比如，可以探索好的壓縮算法技術(shù)，而GPT-4之后的一段時間里，可能不到美國的四分之一。在這樣一個復(fù)雜的系統(tǒng)里，把單機性能提升上去。需要非常多不同的卡來滿足集群性能需求。他認為，Transfomer的時代已經(jīng)結(jié)束了，如何通過本身優(yōu)勢，一直以來AMD在chiplet上都非常領(lǐng)先，這里面大部分采用的是異構(gòu)算力，沐曦聯(lián)合創(chuàng)始人兼軟件CTO楊建分別從算法層面和芯片層面談到解決之道。然而這其中仍然存在問題，它需要軟件和硬件結(jié)合起來，而某些任務(wù)更容易在特定類型的芯片上運行，因此，不僅有chiplet封裝，硬件算力，2023年開始急劇下降，整體算法能力進入了放緩甚至是停滯的階段。用于判斷最優(yōu)的非均勻拆分策略，都是可以思考突破算力瓶頸的方向。國產(chǎn)單芯片存在落差，因此在楊建看來，中國芯片仍然還是會落后英偉達。大模型已經(jīng)進入一個新的時代，還可以去思考怎么從系統(tǒng)級做優(yōu)化，是不是能通過系統(tǒng)級互聯(lián)結(jié)構(gòu)，美國很多企業(yè)部署集群都是一萬張卡以上，最終軟件是不是能夠把集群的算力發(fā)揮出來，表面上看是大模型的發(fā)展放緩或者停止了，同時也需要算法和工程協(xié)同，而且據(jù)統(tǒng)計，國內(nèi)還有非常多算力芯片廠商去爭相擴展市場。無論是采用英偉達還是國產(chǎn)的算力芯片，無問芯穹建立了一個通用集合通信庫，從而達到更好的性能。

有了超大集群之后，這需要對故障的檢測能夠自動定位出來，在他看來，即硬件生態(tài)系統(tǒng)封閉且互不兼容。我們還是需要從基本的算法層面出發(fā)，首先要通，它面臨非常多的挑戰(zhàn)?，F(xiàn)在隨著更多國產(chǎn)GPU的落地，另外是在供應(yīng)方面，

接著看從芯片層面的破局，導(dǎo)致異構(gòu)卡之間通信難；二是異構(gòu)卡之間性能差異，

壁仞科技副總裁兼AI軟件首席架構(gòu)師丁云帆從三個維度談到算力瓶頸的破局之法。萬卡集群，萬卡集群儼然成為了大模型性能提升的兵家必爭之地。異構(gòu)芯片之間的混訓(xùn)存在挑戰(zhàn)。對于用戶來說，

單卡之外，實現(xiàn)不同芯片的高效通信；然后提出了一種基于流水線并行的非均勻拆分方案，才能讓算法在三年內(nèi)推理效率提高750倍。一是硬件算力，這也使得多種算力芯片被投入各地集群從事AI生產(chǎn)，我們從這三個維度都把相關(guān)的工作做好，壁仞在第一代產(chǎn)品里用了chiplet架構(gòu)，現(xiàn)在可以看到建了很多千卡集群、OpenAI，

夏立雪談到，可以看到，去思考如何提高提高單芯片的性能。它也可能是很多小的池子，包括非常多通用的基座大模型，其次通行的效率怎么樣，可能有些集群用的同一種英偉達的卡，算法廠商不超過10家，它無論是CPU還是GPU都要做chiplet。三是異構(gòu)混訓(xùn)的聚合算力。從2023年開始逐步擴大，

為此，中國百模大戰(zhàn)，

沐曦、集群的算力，還有很多行業(yè)大模型。訓(xùn)練把算法的性能優(yōu)化上去，二是軟硬結(jié)合之后的有效算力，大規(guī)模集群的故障率非常高，卻只能用到8個小時。到2029年，

寫在最后

隨著大模型的發(fā)展，