Evoluția deep learning-ului pe CPU
Timp de mulți ani, consensul în comunitatea AI a fost că antrenarea modelelor de tip transformer necesită exclusiv GPU-uri de înaltă performanță. Lansarea procesoarelor Intel Xeon Scalable de generația a patra, cunoscute sub numele de cod Sapphire Rapids, schimbă însă acest paradigma. Prin integrarea unor instrucțiuni hardware specializate, concepute pentru deep learning, aceste procesoare oferă o alternativă performantă, rentabilă și ușor de scalat pentru antrenarea modelelor transformer, în special a celor care utilizează seturi de date mici și medii.
Secretul acestui salt de performanță este tehnologia Intel Advanced Matrix Extensions (AMX). Această arhitectură introduce noi registre de tip „tile” 2D care accelerează semnificativ înmulțirea matricelor, operația matematică fundamentală aflată la baza aproape tuturor modelelor AI moderne. Utilizând biblioteca Intel Extension for PyTorch (IPEX), dezvoltatorii pot accesa aceste capabilități fără a modifica scripturile existente pentru modelele Hugging Face, facilitând o tranziție fluidă de la calculul de uz general la antrenarea optimizată pentru AI.
Puterea AMX explicată
Arhitectura Sapphire Rapids a fost proiectată special pentru a gestiona sarcinile intense de AI prin intermediul Advanced Matrix Extensions. Spre deosebire de arhitecturile anterioare, care se bazau pe operații vectoriale standard, AMX este creat special pentru a accelera operațiile pe matrice folosind formatele Brain Floating Point (BF16) și numere întregi pe 8 biți (INT8). Această alegere de design asigură menținerea unui flux de lucru ridicat, oferind în același timp precizia computațională necesară sarcinilor bazate pe transformatoare.
Deoarece AMX utilizează registre 2D dedicate, suportul la nivel de hardware este critic. În cazul utilizării acestor cipuri în cloud, cum ar fi instanțele bare-metal Amazon EC2 r7iz, este esențial ca nucleul Linux (versiunea 5.16 sau mai nouă) să fie configurat corect. Odată ce mediul este pregătit, instrucțiunile hardware sunt activate automat prin IPEX, permițând experților în date să se concentreze pe arhitectura modelului în locul optimizărilor de nivel inferior ale kernelului.
De ce este important
- Eficiența costurilor: Instanțele CPU, în special când se utilizează prețuri de tip „spot”, pot genera economii de până la 90% comparativ cu instanțele GPU tradiționale la cerere.
- Integrare facilă: Datorită bibliotecilor precum IPEX și oneAPI Collective Communications Library (CCL), integrate deja în ecosistemul Hugging Face, bariera de intrare pentru antrenarea pe CPU este practic inexistentă.
- Scalabilitate: Capacitatea de a distribui antrenarea pe un cluster de noduri Sapphire Rapids demonstrează o scalare aproape liniară, demonstrând că CPU-urile pot gestiona eficient joburi complexe de antrenare multi-nod.
- Versatilitate hardware: Spre deosebire de GPU-urile specializate, adesea limitate la sarcini AI specifice, serverele bazate pe Xeon pot fi ușor reconvertite pentru diverse sarcini de producție, precum gestionarea bazelor de date sau servirea de pagini web.
Câștiguri de performanță în scenarii reale
Metricile de performanță confirmă impactul acestor noi instrucțiuni. În testele comparative utilizând un model DistilBERT pentru răspunsuri la întrebări, îmbunătățirea între generații este remarcabilă. În timp ce un procesor comparabil din generația a treia, Ice Lake, finaliza o epocă de antrenare în aproximativ trei ore și 30 de minute, arhitectura Sapphire Rapids a terminat aceeași sarcină în doar 26 de minute, reprezentând o creștere a performanței de 8 ori.
Mai mult, prin trecerea de la un singur nod la un cluster de patru noduri, sistemul a atins o scalare liniară aproape perfectă. Folosind biblioteca oneAPI Collective Communications Library (CCL) pentru a gestiona fluxul de date între noduri, timpul de antrenare a scăzut de la 26 de minute la șapte minute și 30 de secunde. Acest nivel de eficiență validează strategia utilizării clusterelor dense de CPU pentru deep learning distribuit, oferind o soluție solidă pentru organizațiile care doresc să optimizeze bugetele de calcul fără a sacrifica timpul de finalizare a antrenării modelelor.
