Fundația infrastructurii de date OpenAI
Pe măsură ce utilizarea ChatGPT continuă să crească, coloana vertebrală a operațiunilor de date ale OpenAI — o platformă numită Habitat — a trecut printr-o transformare majoră. În prezent, Habitat gestionează peste 500 de petabytes de date, facilitând peste 70 de milioane de solicitări în fiecare secundă. Deservind peste 1 miliard de utilizatori săptămânal în 40 de regiuni geografice, Habitat acționează ca un intermediar critic între suita diversă de produse OpenAI și resursele de stocare de bază, precum Azure Cosmos DB.
Conceput inițial la jumătatea anului 2024, Habitat a început sub forma unei biblioteci Python modeste. Scopul său principal era să abstractizeze gestionarea bazelor de date pentru inginerii de produs, permițând echipelor să stocheze și să recupereze informații fără a fi nevoite să navigheze prin complexitatea interogărilor de schemă, criptării, autorizării și cerințelor privind rezidența datelor. Prin furnizarea unei interfețe unificate, platforma a permis dezvoltarea rapidă a funcționalităților, asigurând totodată aplicarea consecventă a protocoalelor critice de securitate și confidențialitate în întreaga companie.
Tranziția către un serviciu centralizat
Până la jumătatea anului 2025, limitările modelului de bibliotecă client-side au devenit evidente. Pe măsură ce volumul serviciilor OpenAI a crescut vertiginos, coordonarea actualizărilor în zeci de sisteme disparate a devenit un blocaj logistic. Implementarea unor modificări transversale, precum rutarea regională pentru rezidența datelor sau noile funcționalități de securitate, necesita lansări complexe, întinse pe mai multe zile, predispuse la eșecuri operaționale și erori umane. Dacă o singură echipă revenea la o versiune anterioară a unui serviciu, stabilitatea întregului strat de stocare putea fi compromisă.
Pentru a rezolva această problemă, OpenAI a transformat Habitat dintr-o bibliotecă client-side într-un serviciu centralizat și independent. Această schimbare arhitecturală a oferit un punct unic de control pentru implementări și monitorizare. Prin decuplarea logicii de stocare, echipa de infrastructură a putut implementa îmbunătățiri la nivel de platformă — cum ar fi limitarea rafinată a ratelor și auditarea centralizată a log-urilor — fără a cere echipelor de produs să gestioneze individual actualizările. Această consolidare s-a dovedit vitală pentru menținerea securității datelor și protejarea informațiilor utilizatorilor atât împotriva actorilor interni, cât și a celor externi.
Depășirea provocărilor de scalare în Python
Decizia de a păstra Habitat scris în Python în această fază masivă de scalare a fost una calculată. Deși echipa a recunoscut că limitările de performanță ale limbajului Python în scenarii cu flux mare de date făceau inevitabilă o eventuală migrare către un limbaj mai eficient, precum Rust, obiectivul imediat era deblocarea dezvoltatorilor și stabilizarea platformei. Inginerii au folosit propriile modele interne de codare ale OpenAI pentru a compensa acest decalaj, mizând pe faptul că generarea de cod asistată de AI va simplifica ulterior tranziția de la Python.
Operarea unui serviciu bazat pe Python la această scară a generat provocări unice, în special în ceea ce privește latența solicitărilor. Într-un mediu în care o singură interacțiune a utilizatorului poate declanșa sute de interogări în baza de date, latența la „coadă” (tail latency) devine principalul inamic al experienței utilizatorului. Echipa a descoperit că cel mai mare blocaj era bucla de evenimente asyncio. Deoarece blocarea interpretorului global (GIL) din Python împiedică paralelizarea reală a execuției pe CPU, sarcinile intense precum criptarea, compresia și rutarea solicitărilor cauzau întârzieri semnificative de programare. Pentru a atenua acest aspect, OpenAI a implementat o monitorizare granulară a buclei asyncio, alegând să limiteze numărul de solicitări concurente per proces worker, în timp ce a scalat orizontal numărul de procese pentru a menține performanța.
De ce contează
- Eficiență operațională: Trecerea la un model de serviciu centralizat a eliminat nevoia de implementări fragmentate, reducând semnificativ aria de impact a posibilelor întreruperi.
- Performanță la scară: Tratând infrastructura ca pe un cod și utilizând AI pentru a gestiona datoria tehnică, OpenAI a susținut o creștere de 10 ori de la an la an, timp de trei ani consecutivi.
- Securitatea datelor: Centralizarea stratului de stocare acționează ca un punct critic de control al securității, asigurându-se că gestionarea accesului, limitarea ratelor și criptarea sunt aplicate unitar pe toate liniile de produse.
