Evoluția inferenței bazate pe CPU
Timp de mai mulți ani, GPU-ul a fost calea standard pentru inferența în deep learning. Deși plăcile grafice rămân standardul de aur pentru paralelism masiv, peisajul se schimbă pe măsură ce arhitecturile CPU evoluează pentru a gestiona sarcini de lucru AI complexe. Introducerea procesoarelor Xeon de generația a patra de la Intel — cu numele de cod Sapphire Rapids — reprezintă o etapă importantă în această tranziție. Dotate cu noul set de instrucțiuni Advanced Matrix Extensions (AMX), aceste cipuri sunt concepute special pentru a accelera înmulțirea matricelor, o operațiune fundamentală în procesarea rețelelor neuronale.
Prin utilizarea Intel Extension for PyTorch (IPEX) și a bibliotecii Hugging Face Optimum Intel, dezvoltatorii pot obține acum sporuri de performanță care, anterior, erau exclusive hardware-ului specializat. Acest progres elimină practic diferența dintre calculul general și accelerarea dedicată, oferind o rută mai flexibilă și mai eficientă din punct de vedere al costurilor pentru organizațiile care doresc să își scaleze modelele NLP de tip transformer, fără complexitatea inerentă gestionării clusterelor GPU.
Hardware și metodologia de testare
Pentru a cuantifica aceste progrese, au fost efectuate teste de performanță folosind instanțe Amazon EC2 pentru a compara arhitectura Sapphire Rapids cu generația anterioară, Ice Lake. Ambele configurații, c6i.16xlarge (Ice Lake) și r7iz.16xlarge-metal (Sapphire Rapids), au fost echipate cu 32 de nuclee fizice și 64 de vCPU-uri, rulând pe Ubuntu 22.04 cu PyTorch 1.13. Obiectivul a fost crearea unui mediu controlat în care singurele variabile majore să fie arhitectura procesorului și includerea bibliotecii Optimum Intel.
Suita de benchmark-uri s-a concentrat pe trei modele NLP populare: distilbert-base-uncased, bert-base-uncased și roberta-base. Protocolul de testare a simulat scenarii reale utilizând atât secvențe scurte de 16 token-uri, cât și secvențe mai lungi și mai complexe. Pentru a asigura acuratețea, echipa a implementat o fază standard de încălzire (warmup), urmată de 1.000 de iterații de inferență. Pe platforma Sapphire Rapids, testele au utilizat precizia bfloat16 și compilarea Just-In-Time (JIT), permițând sistemului să exploateze la maximum instrucțiunile AMX.
Sporuri de performanță și impact în lumea reală
Rezultatele subliniază eficiența noului stack hardware-software. Mai exact, pentru sarcini de predicție unică folosind modelul distilbert-base-uncased, arhitectura Sapphire Rapids a demonstrat o îmbunătățire a vitezei cu 60% până la 65% față de generația Ice Lake. Combinat cu optimizările oferite de pipeline-ul Optimum, saltul general de performanță le permite dezvoltatorilor să obțină o latență de ordinul milisecundelor chiar și pentru input-uri de text mai lungi.
Acest nivel de performanță democratizează practic accesul la inferența AI de mare viteză. Prin atingerea unor viteze apropiate de cele ale GPU-urilor pentru modelele transformer pe CPU-uri, companiile pot reduce semnificativ cheltuielile de infrastructură. Această flexibilitate este deosebit de utilă în aplicațiile care necesită latență scăzută, unde paralelismul masiv al unui sistem GPU dedicat ar putea duce la subutilizarea hardware-ului și la costuri operaționale inutile.
De ce este important
- Eficiența costurilor: Instanțele CPU sunt, în general, mai accesibile și oferă o flexibilitate mai mare pentru scalarea unităților de inferență în comparație cu instanțele GPU.
- Optimizarea arhitecturală: Setul de instrucțiuni AMX vizează în mod specific blocajele din deep learning, transformând CPU-urile de server standard în motoare capabile de inferență AI.
- Integrare software: Biblioteca Hugging Face Optimum Intel abstractizează complexitatea, permițând dezvoltatorilor să implementeze aceste optimizări cu modificări minore ale bazelor de cod PyTorch existente.
