Revoluționarea dezvoltării AI pe platforma Mac
Lansarea PyTorch 2.15 reprezintă un moment de referință pentru dezvoltatorii care folosesc hardware-ul Apple Silicon. Această versiune, dezvoltată prin contribuțiile substanțiale ale echipei Hugging Face și ale comunității PyTorch, abandonează execuția generică bazată pe grafuri în favoarea unor nuclee Metal personalizate, optimizate pentru arhitectura MPS (Metal Performance Shaders). Această schimbare strategică adresează direct blocajele de performanță, problemele de gestionare a memoriei și lacunele de funcționalitate care îngreunau anterior fluxurile de lucru de machine learning pe macOS.
Pentru specialiștii care lucrează cu modele de limbaj de mari dimensiuni (LLM) rulate local, generare video sau calcule științifice complexe pe macOS 15 și versiuni ulterioare, PyTorch 2.15 oferă o experiență transformatoare. Prin înlocuirea căilor de execuție indirecte cu operațiuni Metal native, framework-ul maximizează acum debitul cipurilor din seria M, consolidând poziția hardware-ului Apple ca platformă robustă pentru dezvoltarea AI de ultimă generație.
Progrese în inferența LLM
Actualizarea aduce îmbunătățiri semnificative de viteză pentru faza de decodare a modelelor de tip transformer. Prin optimizarea straturilor liniare și integrarea suportului nativ pentru înmulțiri de matrice grupate (grouped matrix multiplications), versiunea 2.15 crește considerabil numărul de tokeni procesați pe secundă. Mai exact, modelele de tip Mixture-of-Experts (MoE) — recunoscute pentru dificultatea rulării lor eficiente — înregistrează viteze de decodare de 5 până la 6,5 ori mai mari comparativ cu versiunea 2.14. Un model precum Qwen3.6-35B-A3B crește de la aproximativ 9 tokeni pe secundă la peste 60 pe un cip M3 Ultra, transformând interacțiunea locală în timp real pentru modele mult mai mari decât era posibil anterior.
În completarea acestor câștiguri, framework-ul include acum nuclee optimizate pentru softmax și log_softmax. Acestea sunt critice pentru etapele finale de eșantionare a tokenilor, testele demonstrând o accelerare de 8 ori pentru vocabulare extinse (de exemplu, dimensiuni de [1, 128256]). Această optimizare asigură faptul că etapa de eșantionare nu mai limitează viteza în timpul generării textului.
Eficiență majoră a memoriei pentru fluxurile creative
Poate cea mai importantă realizare tehnică a acestei versiuni este reducerea drastică a amprentei de memorie pentru modelele de generare video. În versiunile anterioare, procese precum decodarea prin tiling a Variational Autoencoder (VAE) — esențială pentru modele precum Wan2.2 — sufereau din cauza operațiunilor de padding ineficiente, care făceau ca utilizarea memoriei driverului să urce la peste 270 GiB. Prin mutarea padding-ului constant în nuclee native Metal, PyTorch 2.15 a redus utilizarea maximă a memoriei driverului la doar 8 GiB pentru aceeași sarcină de lucru.
Această eficiență a memoriei reprezintă un avantaj major pentru creatori și cercetători care utilizează instrumente precum ComfyUI, prevenind blocajele sistemului și permițând rularea unor fluxuri generative complexe pe configurații cu memorie unificată destinate consumatorilor, care anterior nu dispuneau de resursele necesare pentru a gestiona astfel de vârfuri de consum.
Capabilități extinse cu FP8 și algebră liniară
PyTorch 2.15 introduce suport nativ pentru tensori FP8 (float8_e4m3fn) în MPS. Acest format reduce la jumătate cerințele de stocare a memoriei comparativ cu formatele tradiționale BF16 sau FP16, permițând o cuantificare mai agresivă a modelelor și ferestre de context mai mari în aceleași limite de memorie. Includerea înmulțirii scalate de matrice (F.scaled_mm) asigură faptul că acești tensori FP8 pot fi procesați direct pe GPU, eliminând o diferență critică față de fluxurile de lucru bazate pe CUDA.
În plus, suita de algebră liniară a fost extinsă, factorizarea LU și rezolvarea sistemelor triunghiulare pentru numere complexe rulând acum nativ pe GPU. Operațiunile cu matrice mici, esențiale pentru viziunea computerizată și geometria camerelor, au fost de asemenea optimizate prin nuclee dedicate, asigurând rularea sarcinilor științifice specializate cu o latență minimă de sincronizare între CPU și GPU.
De ce contează
- Performanță: Reduceri masive ale latenței pentru decodarea tokenilor LLM și operațiuni complexe de algebră liniară.
- Eficiență: Sarcinile de generare video care necesitau anterior un consum uriaș de memorie rulează acum fluid pe configurații standard Apple Silicon.
- Compatibilitate: Suportul extins pentru operatori asigură rularea fiabilă a instrumentelor și bibliotecilor moderne de AI generativ, fără a fi nevoie de soluții de compromis manuale.
- Control: Introducerea gestionării explicite a fluxurilor MPS permite dezvoltatorilor să ajusteze execuția și alocarea memoriei pentru pipeline-uri complexe și paralelizate.










