Realitatea inginerească la scara gigawaților în AI
În cursa pentru dezvoltarea următoarei generații de modele fundamentale, blocajul nu mai este doar raritatea siliciului, ci fiabilitatea infrastructurii necesare pentru a-l susține. Superclusterul Prometheus al Meta, situat în New Albany, Ohio, stă mărturie acestei realități. Proiectată pentru a atinge în final o capacitate de un gigawat, facilitatea trece în prezent prin cele mai noi cicluri hardware de la Nvidia, integrând rafturi Grace Blackwell și Vera Rubin. Totuși, gestionarea unei rețele atât de vaste de acceleratoare — care se apropie de un milion de unități GPU — necesită o schimbare radicală în modul în care inginerii privesc timpul de funcționare și mentenanța sistemului.
La o asemenea scară, conceptul tradițional de „rată de eșec” devine o metrică operațională zilnică. Meta a dezvăluit că peste 11% din GPU-urile sale sunt fie nefuncționale, fie menținute într-o stare de disponibilitate inactivă, servind drept „hot spares” (rezerve active) care pot înlocui instantaneu hardware-ul defect. Această abordare proactivă este esențială pentru a preveni blocajele catastrofale ale sistemului în timpul proceselor lungi de antrenare.
Costul continuității: rezerve active și reziliență paralelă
Nucleul strategiei Meta se concentrează pe minimizarea impactului prăbușirilor inevitabile care apar atunci când mii de cipuri sunt interconectate. În prezent, în cadrul fiecărui domeniu NVLink de 72 de GPU-uri, opt unități sunt păstrate strict ca rezervă. Această strategie permite sistemului, în momentul în care o componentă cedează, să evite pauzele pentru înlocuirea fizică. În schimb, un slot de rezervă este activat imediat, permițând procesului de antrenare să ignore hardware-ul deteriorat cu o latență minimă.
Dincolo de redundanța hardware, Meta a arhitecturat o „reziliență paralelă” în stiva sa software. Prin utilizarea paralelizării datelor, compania poate izola defecțiunile hardware la replici specifice ale modelului. Când apare o problemă, sistemul scoate din uz segmentul defect, continuă antrenarea cu replicile rămase și permite segmentului compromis să se resincronizeze odată ce a migrat pe o gazdă funcțională. Această transformare a unei posibile opriri a întregului cluster într-o scădere neglijabilă și temporară a performanței este crucială pentru a menține termenele de dezvoltare pentru modele precum Muse Wonder.
De ce contează: fizica NVLink și consumul de energie
Obstacolele tehnice cu care se confruntă Meta depășesc cu mult defectarea unităților individuale. Pe măsură ce compania își extinde utilizarea structurii NVLink de la Nvidia, a trebuit să se adapteze realităților integrității semnalului la scară largă. Cu peste 600.000 de conexiuni NVLink active în cluster, chiar și cea mai mică degradare a semnalului poate declanșa cicluri de recuperare frecvente. Pentru a gestiona acest aspect, Meta a implementat protocoale riguroase de telemetrie continuă și diagnosticare L11, efectuând practic „teste de stres” pe fiecare conexiune pentru a depista punctele slabe înainte ca acestea să destabilizeze o sesiune de antrenament live.
Managementul energiei reprezintă o altă provocare inginerească semnificativă. Punerea a zeci de mii de GPU-uri într-o stare de funcționare la putere maximă creează simultan fluctuații enorme — vârfuri de tensiune care ar putea distruge echipamentele de alimentare. Gestionând cu atenție creșterea treptată a sarcinii și distribuția energiei în centrul de date din Ohio, Meta și-a stabilizat mediul operațional, atingând o eficiență de peste 85% („goodput”) în timpul pre-antrenării. Pe măsură ce Meta avansează către obiectivul unui cluster de un milion de GPU-uri, țintește o rată de întrerupere de doar două evenimente pe zi la fiecare 8.000 de GPU-uri, vizând un număr fără precedent de 100.000 de ore-GPU de funcționare între defecțiuni.
