Apariția antrenării distribuite pentru AI
Cursa pentru dezvoltarea unor modele AI tot mai mari s-a lovit de o barieră fizică: disponibilitatea energiei electrice. Deoarece rețelele electrice și infrastructura locală nu pot ține pasul cu cerințele energetice uriașe ale clusterelor moderne de GPU-uri, era antrenării sarcinilor de lucru într-un singur centru de date se apropie de sfârșit. Liderii din industrie sunt acum nevoiți să adopte un model distribuit, în care clusterele de antrenare sunt dispersate în locații geografice diferite.
Această tranziție introduce un obstacol arhitectural major. Soluțiile tradiționale de rețea au fost create pentru a facilita fluxul de trafic între locații, însă antrenarea AI necesită ceva fundamental diferit. Aceste sarcini de lucru cer transferuri masive de date sincronizate, cu pierderi de pachete aproape zero și o coordonare perfectă între clusterele GPU distribuite. Dacă orice segment al rețelei înregistrează o întârziere, decalajul de sincronizare poate declanșa un efect în cascadă, blocând practic întregul proces de antrenare. Prin urmare, rețeaua trece de la rolul de strat pasiv de transport la cel de componentă esențială a infrastructurii de calcul în sine.
Imperativul „Scale-Across”
Cisco abordează această provocare prin ceea ce numește imperativul „Scale-Across”. Potrivit lui Rakesh Chopra, vicepreședinte senior pentru arhitectura sistemelor și a cipurilor, obiectivul este ca centrele de date dispersate geografic să funcționeze ca o singură mașină deterministă. Atingerea acestui nivel de performanță prin legături de fibră optică pe distanțe lungi necesită mai mult decât simplă lățime de bandă; necesită o integrare sofisticată la nivel de hardware.
Esențială în această abordare este evoluția tehnologiilor de siliciu și a celor optice. Utilizând optica coerentă de mare viteză și siliciul profund integrat, inginerii pot gestiona rafalele masive de trafic sincronizat inerente antrenării modelelor LLM. Strategia Cisco pune accent pe utilizarea „rețelelor colective inteligente” (Intelligent Collective Networking), concepute pentru a identifica și rezolva blocajele în timp real, reducând drastic timpii de finalizare a sarcinilor prin asigurarea faptului că GPU-urile petrec mai puțin timp așteptând date și mai mult timp procesându-le.
De ce contează: blocajul rețelei
- Determinismul: Antrenarea AI se bazează pe stări sincronizate; chiar și variațiile minore de latență într-o rețea pot duce la timpi morți pentru GPU-uri, irosind milioane de dolari în cicluri de calcul.
- Eficiența energetică: Pe măsură ce infrastructura de rețea se scalează, ea trebuie optimizată pentru a se asigura că energia este direcționată către procesare, nu către sarcini administrative, echilibrând bugetul de putere între unitățile de calcul și rețeaua de interconectare.
- Securitatea la scară largă: Pe măsură ce datele traversează distanțe mari, protocoalele de securitate accelerate hardware, precum MACsec și IPsec, devin critice pentru menținerea integrității datelor fără a introduce latențe semnificative.
- Programabilitatea: Deoarece arhitecturile AI evoluează rapid, infrastructura trebuie să fie suficient de flexibilă pentru a se adapta la noi tipare de comunicare fără a necesita o revizuire completă a hardware-ului.
Un nou plan pentru infrastructură
Pentru arhitecții de centre de date, calea de urmat este clară: rețeaua nu mai este un serviciu periferic, ci coloana vertebrală a scalării AI. Prin utilizarea arhitecturilor avansate de siliciu, precum Silicon One de la Cisco, companiile încep să trateze locațiile distribuite ca pe o entitate unificată. Pe măsură ce industria se îndreaptă către această realitate multisite, capacitatea de a gestiona comunicații deterministe de mare viteză pe distanțe lungi va defini ce organizații vor reuși să antreneze următoarea generație de modele fundamentale fără a se lovi de limitele fizice ale energiei locale.
