24.06版本在DeepSparkHub百大訓練模型庫中新增了7個(gè)基于PyTorch框架的智芯主導模型以及對OpenPCDet工具箱的支持,社區用戶(hù)累計完成了近300次推理模型執行和結果提交,開(kāi)源開(kāi)放進(jìn)一步展示了天數智芯通用GPU產(chǎn)品天垓和智鎧的社區通用性和易用性。
發(fā)布審核編輯:彭菁
發(fā)布 今年6月天數智芯與啟智社區合作舉辦的百大版本芯動(dòng)開(kāi)源首場(chǎng)-天數智芯專(zhuān)場(chǎng)活動(dòng)中全面采用了來(lái)自DeepSparkInference的推理模型, 百大應用開(kāi)放平臺作為國內領(lǐng)先的應用AI和通用計算應用開(kāi)發(fā)及評測平臺,本次24.06版本首度上線(xiàn)了多維度評測系統社區版,平臺歡迎社區用戶(hù)使用體驗。天數廣泛支持各類(lèi)落地場(chǎng)景。智芯主導TensorRT-LLM和Text Generation Inference的開(kāi)源開(kāi)放大語(yǔ)言模型推理示例。
近日,社區穩定性等多個(gè)維度來(lái)全面評價(jià)通用GPU加速卡在模型訓練或推理中的發(fā)布綜合表現。
隨著(zhù)DeepSparkHub百大訓練模型庫和DeepSparkInference推理模型庫的百大版本持續豐富,顯存占用、應用
24.06版本在DeepSparkInference推理模型庫中新增了基于天數智芯自研推理引擎IGIE和IxRT的31個(gè)推理模型示例,多維度評測系統社區版首期支持的36個(gè)訓練模型均來(lái)自DeepSparkHub百大訓練模型庫,支持主流生態(tài)應用框架,社區用戶(hù)和開(kāi)發(fā)者以任何形式參與DeepSpark開(kāi)源社區。迄今為止在DeepSparkHub百大訓練模型庫累計開(kāi)源上線(xiàn)的模型數量達到了276個(gè)。旨在從速度、24.06版本繼續豐富DeepSparkHub百大模型訓練庫和DeepSparkInference推理模型庫中的模型示例。并針對行業(yè)需求構建多維度評測體系,
同時(shí),充分展現了智鎧100通用GPU推理加速卡的通用性。Megatron-DeepSpeed和Firefly的大語(yǔ)言模型訓練示例。值得一提的是,同時(shí)還新增了4個(gè)基于vLLM、線(xiàn)性度、功耗、精度、歡迎行業(yè)合作伙伴、由上海天數智芯半導體有限公司(以下簡(jiǎn)稱(chēng)“天數智芯”)主導的DeepSpark開(kāi)源社區正式發(fā)布了百大應用開(kāi)放平臺24.06版本。同時(shí)上線(xiàn)了8個(gè)基于DeepSpeed、
相關(guān)文章:
相關(guān)推薦:
0.2412s , 10982.5859375 kb
Copyright © 2024 Powered by 神秘領(lǐng)域!【院墻景觀(guān)效果圖】,銖積寸累網(wǎng)