Inteligenta ArtificialaAnaliza tehnica

PyTorch 2.15 aduce performanță sporită pentru computerele Mac cu procesor Apple Silicon

Publicat
RRedactia ElectricBuzz
PyTorch 2.15 aduce performanță sporită pentru computerele Mac cu procesor Apple Silicon
4 min de citit676 cuvinteRedactia ElectricBuzz

Pe scurt

“Cea mai recentă actualizare PyTorch introduce nuclee (kernels) accelerate nativ prin Metal, optimizări drastice ale memoriei pentru procesarea video și creșteri masive de viteză în rularea locală a modelelor LLM.”

Revoluționarea dezvoltării AI pe platforma Mac

Lansarea PyTorch 2.15 reprezintă un moment de referință pentru dezvoltatorii care folosesc hardware-ul Apple Silicon. Această versiune, dezvoltată prin contribuțiile substanțiale ale echipei Hugging Face și ale comunității PyTorch, abandonează execuția generică bazată pe grafuri în favoarea unor nuclee Metal personalizate, optimizate pentru arhitectura MPS (Metal Performance Shaders). Această schimbare strategică adresează direct blocajele de performanță, problemele de gestionare a memoriei și lacunele de funcționalitate care îngreunau anterior fluxurile de lucru de machine learning pe macOS.

Pentru specialiștii care lucrează cu modele de limbaj de mari dimensiuni (LLM) rulate local, generare video sau calcule științifice complexe pe macOS 15 și versiuni ulterioare, PyTorch 2.15 oferă o experiență transformatoare. Prin înlocuirea căilor de execuție indirecte cu operațiuni Metal native, framework-ul maximizează acum debitul cipurilor din seria M, consolidând poziția hardware-ului Apple ca platformă robustă pentru dezvoltarea AI de ultimă generație.

Progrese în inferența LLM

Actualizarea aduce îmbunătățiri semnificative de viteză pentru faza de decodare a modelelor de tip transformer. Prin optimizarea straturilor liniare și integrarea suportului nativ pentru înmulțiri de matrice grupate (grouped matrix multiplications), versiunea 2.15 crește considerabil numărul de tokeni procesați pe secundă. Mai exact, modelele de tip Mixture-of-Experts (MoE) — recunoscute pentru dificultatea rulării lor eficiente — înregistrează viteze de decodare de 5 până la 6,5 ori mai mari comparativ cu versiunea 2.14. Un model precum Qwen3.6-35B-A3B crește de la aproximativ 9 tokeni pe secundă la peste 60 pe un cip M3 Ultra, transformând interacțiunea locală în timp real pentru modele mult mai mari decât era posibil anterior.

În completarea acestor câștiguri, framework-ul include acum nuclee optimizate pentru softmax și log_softmax. Acestea sunt critice pentru etapele finale de eșantionare a tokenilor, testele demonstrând o accelerare de 8 ori pentru vocabulare extinse (de exemplu, dimensiuni de [1, 128256]). Această optimizare asigură faptul că etapa de eșantionare nu mai limitează viteza în timpul generării textului.

Eficiență majoră a memoriei pentru fluxurile creative

Poate cea mai importantă realizare tehnică a acestei versiuni este reducerea drastică a amprentei de memorie pentru modelele de generare video. În versiunile anterioare, procese precum decodarea prin tiling a Variational Autoencoder (VAE) — esențială pentru modele precum Wan2.2 — sufereau din cauza operațiunilor de padding ineficiente, care făceau ca utilizarea memoriei driverului să urce la peste 270 GiB. Prin mutarea padding-ului constant în nuclee native Metal, PyTorch 2.15 a redus utilizarea maximă a memoriei driverului la doar 8 GiB pentru aceeași sarcină de lucru.

Această eficiență a memoriei reprezintă un avantaj major pentru creatori și cercetători care utilizează instrumente precum ComfyUI, prevenind blocajele sistemului și permițând rularea unor fluxuri generative complexe pe configurații cu memorie unificată destinate consumatorilor, care anterior nu dispuneau de resursele necesare pentru a gestiona astfel de vârfuri de consum.

Capabilități extinse cu FP8 și algebră liniară

PyTorch 2.15 introduce suport nativ pentru tensori FP8 (float8_e4m3fn) în MPS. Acest format reduce la jumătate cerințele de stocare a memoriei comparativ cu formatele tradiționale BF16 sau FP16, permițând o cuantificare mai agresivă a modelelor și ferestre de context mai mari în aceleași limite de memorie. Includerea înmulțirii scalate de matrice (F.scaled_mm) asigură faptul că acești tensori FP8 pot fi procesați direct pe GPU, eliminând o diferență critică față de fluxurile de lucru bazate pe CUDA.

În plus, suita de algebră liniară a fost extinsă, factorizarea LU și rezolvarea sistemelor triunghiulare pentru numere complexe rulând acum nativ pe GPU. Operațiunile cu matrice mici, esențiale pentru viziunea computerizată și geometria camerelor, au fost de asemenea optimizate prin nuclee dedicate, asigurând rularea sarcinilor științifice specializate cu o latență minimă de sincronizare între CPU și GPU.

De ce contează

  • Performanță: Reduceri masive ale latenței pentru decodarea tokenilor LLM și operațiuni complexe de algebră liniară.
  • Eficiență: Sarcinile de generare video care necesitau anterior un consum uriaș de memorie rulează acum fluid pe configurații standard Apple Silicon.
  • Compatibilitate: Suportul extins pentru operatori asigură rularea fiabilă a instrumentelor și bibliotecilor moderne de AI generativ, fără a fi nevoie de soluții de compromis manuale.
  • Control: Introducerea gestionării explicite a fluxurilor MPS permite dezvoltatorilor să ajusteze execuția și alocarea memoriei pentru pipeline-uri complexe și paralelizate.
SPONSORED
The 5 Best Over-Ear ANC Headphones of 2026, Tested & Ranked
Ghid Cumpărături Recomandat
92/100
Tech si Gadgeturi•12 min de citit

The 5 Best Over-Ear ANC Headphones of 2026, Tested & Ranked

We locked five over-ear ANC picks for 2026 — Sony WH-1000XM6, Bose QuietComfort Ultra 2, Soundcore Space One, Sennheiser Momentum 5, and Apple AirPods Max 2 — then stress-tested them on lab metrics, long-term owner truth, and live street prices.

Articole similare

Articole asemanatoare, ordonate semantic dupa subiect si actualitate.

Șase gadgeturi inteligente pentru a-ți optimiza biroul de acasă
Inteligenta Artificiala

Șase gadgeturi inteligente pentru a-ți optimiza biroul de acasă

De la instrumente de scriere bazate pe AI la birouri reglabile inteligente, aceste șase dispozitive hardware sunt create pentru a-ți fluidiza fluxul de lucru zilnic și a-ți crește productivitatea.

Hebbia utilizează GPT-6 Astra pentru a revoluționa analiza financiară
Inteligenta Artificiala

Hebbia utilizează GPT-6 Astra pentru a revoluționa analiza financiară

Platforma de cercetare financiară Hebbia raportează câștiguri semnificative de eficiență și o calitate îmbunătățită a rezultatelor după integrarea celui mai nou model OpenAI, GPT-6 Astra, în sistemul său Matrix.

OpenAI lansează MedChemBench pentru a testa capacitatea de raționament AI în chimie medicinală
Inteligenta Artificiala

OpenAI lansează MedChemBench pentru a testa capacitatea de raționament AI în chimie medicinală

Un nou benchmark creat pentru a evalua modul în care modelele AI gestionează complexitatea cercetării farmaceutice și chimia moleculară.

OpenAI întărește modelele frontieră împotriva riscurilor de „distilare adversară”
Inteligenta Artificiala

OpenAI întărește modelele frontieră împotriva riscurilor de „distilare adversară”

OpenAI implementează mecanisme avansate de protecție pentru a împiedica actorii malițioși să extragă procesele de raționament protejate, care ar putea fi utilizate pentru antrenarea unor modele AI nealiniate și neautorizate.

Thinking Machines lansează Inkling 2 Mini: un nou standard pentru AI local
Inteligenta Artificiala

Thinking Machines lansează Inkling 2 Mini: un nou standard pentru AI local

Inkling 2 Mini marchează o etapă importantă în dezvoltarea modelelor multimodale locale, oferind un model de 26 de miliarde de parametri, optimizat pentru infrastructuri specializate.

Listarea masivă a Anthropic marchează o schimbare în ecosistemul financiar al AI
Inteligenta Artificiala

Listarea masivă a Anthropic marchează o schimbare în ecosistemul financiar al AI

Intrarea Anthropic pe piața publică marchează o tranziție esențială de la finanțarea prin investiții de tip venture la un model sustenabil, susținut de capital public.

Europa Fusion: Abordarea bazată pe AI pentru rezolvarea crizei energetice
Inteligenta Artificiala

Europa Fusion: Abordarea bazată pe AI pentru rezolvarea crizei energetice

Daniel Ek, fondatorul Spotify, investește într-un nou startup de fuziune nucleară, Europa Fusion, care își propune să descifreze codul fuziunii prin simulări intensive de date, în detrimentul metodelor tradiționale axate pe hardware.

Revoluție matematică: Duelul pentru rezolvarea ipotezei Riemann
Inteligenta Artificiala

Revoluție matematică: Duelul pentru rezolvarea ipotezei Riemann

Într-o săptămână fără precedent pentru lumea matematicii, au apărut două demonstrații concurente pentru ipoteza Riemann, veche de 167 de ani: una asistată de AI și cealaltă realizată exclusiv prin efort uman.