Provocarea deficitului de GPU-uri
În cercetarea AI de avangardă, puterea de calcul este principala monedă de schimb. La Allen Institute for AI (Ai2), echipa de infrastructură gestionează o flotă masivă de GPU-uri NVIDIA H100, B200 și B300. Cu o bază de utilizatori formată din 150 de cercetători care activează în domenii precum robotica, învățarea prin consolidare (reinforcement learning) și antrenarea modelelor de mari dimensiuni, cererea de hardware depășește constant oferta de două sau trei ori. În trecut, gestionarea acestui deficit se baza pe un programator cu priorități, ceea ce a dus la comportamente previzibile și dăunătoare: utilizatorii „ocupau” abuziv GPU-urile pentru a-și păstra resursele, iar inflația priorităților a făcut ca aproape fiecare sarcină să fie marcată drept „RIDICATĂ”, anulând practic utilitatea sistemului.
Trecerea către alocarea bazată pe buget
Echipa de la Ai2 a realizat că se afla în capcana „tragediei bunurilor comune”. Pentru a rezolva problema, au renunțat la prioritățile statice și la monopolurile manuale asupra resurselor – care lăsau adesea GPU-urile neutilizate – în favoarea unui sistem ierarhic bazat pe bugete. În loc să aloce mașini fizice, managementul alocă acum „bugete de timp GPU”. Această abordare schimbă perspectiva, trecând de la depanarea operațională la investiția strategică; liderii de proiect și managerii de program decid acum cum să distribuie cotele de timp în funcție de impactul scontat al cercetării lor.
Acest sistem introduce o responsabilitate reală. Fiecare cerere de calcul trebuie susținută de un buget pentru a evita preempția (întreruperea forțată). Dacă un cercetător încearcă să „ocupe” nejustificat GPU-urile, pur și simplu consumă alocarea echipei sale fără a înregistra progrese. Făcând acumularea resurselor costisitoare, instituția încurajează cercetătorii să își folosească timpul alocat în mod onest și eficient, oglindind modul în care capitalul este distribuit într-un mediu de afaceri.
Implementarea unui sistem de distribuție echitabilă ierarhică
Pentru a se asigura că acest model bugetar se traduce printr-o eficiență hardware reală, Ai2 a implementat un programator ierarhic de distribuție echitabilă (fair-share). Sistemul utilizează o fereastră de analiză glisantă – setată implicit la șapte zile – pentru a monitoriza gradul de ocupare. Programatorul prioritizează automat sarcinile de lucru ale echipelor care și-au subutilizat alocările, în detrimentul celor care au atins sau depășit limita echitabilă. Aceasta garantează că fiecare grup de cercetare își primește timpul garantat pe parcursul unei săptămâni, chiar dacă volumul de muncă al proiectelor lor este inegal.
Contractul de programare
Poate cel mai inovator aspect al noului sistem este introducerea unui „contract de programare”. Sarcinile de antrenare AI pe termen lung, care pot dura săptămâni întregi, făceau anterior imposibilă reechilibrarea resurselor. Acum, când o sarcină este trimisă, utilizatorul trebuie să declare un „timp minim de rulare” – durata necesară pentru a face progrese semnificative. În acest interval, sarcina este protejată împotriva preempției, oferind stabilitatea de care cercetătorii au nevoie.
Odată ce timpul minim este atins, programatorul capătă autoritatea de a reintroduce sarcina în coada de așteptare pentru a echilibra clusterul, introducând efectiv segmentarea temporală (time-slicing) în infrastructură. Acest mecanism nu doar că asigură echitatea, dar permite și automatizarea mentenanței. Dacă o unitate necesită reparații, programatorul poate elibera natural sarcinile pe măsură ce acestea își ating timpul minim de rulare, eliminând necesitatea negocierilor manuale cu cercetătorii.
De ce este important
- Maximizarea gradului de ocupare: Modul „nealocat” permite cercetătorilor să folosească cicluri GPU suplimentare gratuit, cu condiția ca sarcinile lor să poată fi întrerupte oricând, asigurându-se că hardware-ul nu rămâne niciodată inactiv.
- Transparență administrativă: Prin corelarea puterii de calcul cu bugete, deciziile privind prioritățile proiectelor sunt transferate către leadership, reducând presiunea asupra inginerilor care trebuie să fie mereu „de gardă”.
- Reziliența sistemului: Preempția automatizată bazată pe contractul de programare permite mentenanța sistemului, deoarece infrastructura poate izola și repara nodurile în siguranță fără a perturba obiectivele de antrenare pe termen lung.
