Există o convingere persistentă în industrie că scalarea sistemelor de inteligență artificială este dificilă. Aceasta înseamnă să te bazezi pe interconectări proprietare sau să creezi un standard de interconectare complet nou, să gestionezi topologii strict constrânse și să trăiești cu costuri mai mari, împreună cu un nou set de instrumente operaționale.
Adevărul este că scalarea este mai simplă decât scalarea orizontală. Și cu o bază adecvată, cum ar fi Scale-Up Ethernet (SUE) anunțat de Broadcom luna trecută, este mult mai flexibil. În ultimii ani, Ethernet s-a dovedit a fi cea mai bună tehnologie pentru rețelele de inteligență artificială scalabile – conectarea nodurilor XPU într-un centru de date și între centrele de date. Acum este momentul să aducem avantajele Ethernet la scalare: permiterea unei comunicări rapide, fiabile și deschise într-un nod sau rack, între zeci și sute de XPU strâns cuplate.
Când modelele de inteligență artificială rulează la scară largă, apar adesea blocaje de performanță în interiorul sistemului – unde XPU-urile trebuie să partajeze memorie, să coordoneze colective sau să direcționeze ieșirile pentru inferențe Mixture-of-Experts.
În implementările de inteligență artificială la scară largă, în special în arhitecturile de scalare, mai multe elemente de calcul (XPU-uri și CPU-uri) funcționează îndeaproape împreună, adesea într-un singur server sau sistem strâns integrat. Pe măsură ce modelele devin extrem de mari – potențial trilioane de parametri – cerințele de calcul și memorie depășesc ceea ce poate gestiona eficient orice unitate de procesare unică. Acest lucru necesită o comunicare intra-sistem extrem de eficientă, permițând XPU-urilor să partajeze rapid date, să sincronizeze calculele și să execute colectiv operațiuni precum all-reduce, broadcast și gather, care sunt comune în antrenamentul și inferența modelelor distribuite.
Aceste domenii de scalare necesită:
• Lățime de bandă mare: XPU-urile moderne pot avea 40 – 100 TB/s de lățime de bandă HBM. Legăturile de scalare trebuie să corespundă acestei cerințe.
• Latență redusă: Latența dus-întors sub 2µs este esențială pentru accesul la memorie la distanță și sincronizarea rapidă.
• Fiabilitate: Pe măsură ce XPU-urile accesează memoria reciprocă, fiecare transfer trebuie să se finalizeze în mod fiabil – fără a introduce congestie, contrapresiune sau reîncercări vizibile pentru aplicație.
• Eficiență: Atunci când se mută sarcini utile mici – adesea 64 de octeți simultan – suprasarcina de rețea trebuie să fie minimă.
Aceste cerințe împing tehnologiile de interconectare la limitele lor – și aici se remarcă Ethernet-ul. Pentru a aduce Ethernet-ul în domeniile scale-up, Broadcom a dezvoltat cadrul Scale-Up Ethernet (SUE) – o specificație curată, bazată pe standarde, pentru interconectarea XPU de înaltă performanță.
Am contribuit cu specificația SUE completă la Open Compute Project, punând-o la dispoziția altora pentru a o dezvolta.
La nivel general, SUE definește:
• Semantica interfeței: Un model consistent pentru traficul de comandă, date și gestionare între XPU-uri și switch.
• Modelul de memorie: O interfață simplă, coerentă cu memoria cache, care acceptă operațiuni put, get și atomice prin Ethernet, concepută pentru a emula accesul la memorie strâns cuplat.
• Format pachet: Anteturi ușoare, optimizate pentru latență, care minimizează costurile per transfer – cruciale pentru unitățile de date mici.
• Gestionarea congestiei: Suport pentru reîncercare la nivel de legătură (LLR), controlul fluxului bazat pe credit (CBFC) și controlul fluxului prioritar (PFC) pentru a asigura funcționarea fără pierderi și latența deterministă.
• Interfețe fungibile: Același port XPU poate fi utilizat atât pentru scaling-up, cât și pentru scaling-out, permițând partiționarea dinamică a resurselor și un design hardware simplificat.
SUE permite, de asemenea, flexibilitate în lățimea de bandă – cu 800G per instanță SUE și suportând mai multe planuri de rețea pentru echilibrarea încărcării, izolarea erorilor și creșterea debitului agregat – și suportă sisteme de scaling-up de până la 1.024 XPU într-un singur domeniu.
Infrastructura AI nu ar trebui să necesite două rețele separate – una pentru comunicarea intra-nod și una pentru comunicarea inter-nod. Cu SUE, puteți unifica scalarea verticală și orizontală pe o singură structură Ethernet, utilizând aceleași interconexiuni optice și de cupru, aceleași instrumente de vizibilitate și aceeași telemetrie la nivel de platformă.
Aceasta se traduce prin:
● Complexitate mai mică a sistemului
● Agilitate mai mare în proiectarea sistemului
● Cost total de proprietate redus
● Inovație neutră față de furnizor
Spre deosebire de modelele de interconectare proprietare sau semi-personalizate, SUE rulează pe Ethernet – deschis prin design, nu doar prin licență. Nu sunt necesare chipleturi speciale, PHY-uri sau structuri de comutare. SUE permite proiectarea sistemelor multi-vendor fără a dicta aspectul plăcii, arhitectura rack-ului sau anvelopa termică. Funcționează cu ecosistemul Ethernet global, fără a fi nevoie de integrare specializată sau certificare a furnizorilor.
Infrastructura AI evoluează rapid – iar nevoile de rețea dintr-un nod XPU sunt acum la fel de critice ca cele dintre noduri. Cu Scale-Up Ethernet, am făcut scalarea verticală simplă, eficientă și deschisă. Să vedem cum va construi industria pe această fundație.
SolvIT Networks este partener strategic pentru Europa Centrală și de Est al Broadcom.