隨著深度學(xué)習(xí)模型參數(shù)量及數(shù)據(jù)量的快速增加，模型訓(xùn)練對算力的需求快速上升，構(gòu)建超級人工智能算力系統(tǒng)成為重要課題。單GPU芯片的性能提升速度受到先進制程等限制逐步放緩，互連技術(shù)成為提升算力系統(tǒng)性能的重要手段?；ミB技術(shù)的核心目標(biāo)是將更多的計算核心擴展成高性能的數(shù)據(jù)中心，并在此過程中降低性能損耗。英偉達作為GPU領(lǐng)域的絕對龍頭企業(yè)，在構(gòu)建AI算力的工程方案和技術(shù)探索方面一直處在行業(yè)前沿。本文深度研究英偉達的算力互連技術(shù)路線，并梳理產(chǎn)業(yè)發(fā)展趨勢，發(fā)掘相關(guān)機遇。

一、構(gòu)建超級AI算力的必要性及挑戰(zhàn)

自2023年以來，ChatGPT的問世掀起了新一輪的人工智能熱潮。隨著模型參數(shù)量的增加，模型訓(xùn)練對算力的需求也呈指數(shù)級上升，提供高性能AI算力的GPU供不應(yīng)求。為更好地滿足模型訓(xùn)練對算力的需求，以英偉達為 ……