Inteligenta ArtificialaAnaliza tehnica

Ai2 lansează Olmo-core 3: un nou standard open-source pentru antrenarea modelelor AI cu trilioane de parametri

Publicat
RRedactia ElectricBuzz
Ai2 lansează Olmo-core 3: un nou standard open-source pentru antrenarea modelelor AI cu trilioane de parametri
3 min de citit580 cuvinteRedactia ElectricBuzz

Pe scurt

“Allen Institute for AI abordează provocările de scalare ale modelelor de tip Mixture-of-Experts printr-o infrastructură de antrenare nouă și extrem de eficientă.”

Revoluționarea antrenării pentru modelele Mixture-of-Experts

Allen Institute for AI (Ai2) a lansat oficial Olmo-core 3, o evoluție semnificativă a infrastructurii de antrenare, concepută special pentru modelele la scară largă de tip Mixture-of-Experts (MoE). Pe măsură ce dezvoltatorii AI caută să depășească arhitecturile dense, modelele MoE au devenit soluția principală pentru scalarea numărului de parametri fără a crește liniar costurile de calcul. Totuși, gestionarea rutării complexe și a consumului de memorie rămâne o provocare. Olmo-core 3 elimină aceste blocaje, permițând dezvoltatorilor să atingă dimensiuni de ordinul trilioanelor de parametri, menținând în același timp o eficiență computațională ridicată.

Prin trecerea de la implementările anterioare bazate pe fully sharded data parallelism (FSDP) la o abordare rafinată, bazată pe distributed data parallelism (DDP), echipa a obținut câștiguri de performanță substanțiale. Testele preliminare efectuate pe GPU-uri NVIDIA B300 au demonstrat un randament de 2,7 ori mai mare față de cadrele de lucru anterioare. Această schimbare asigură faptul că experții specializați rămân rezidenți pe GPU-uri specifice, reducând drastic latența cauzată de colectarea și resharding-ul repetat al ponderilor modelului în timpul antrenării.

Tehnici avansate de optimizare

Nucleul Olmo-core 3 este susținut de o suită sofisticată de strategii de optimizare menite să maximizeze utilizarea GPU-urilor. Pentru a distribui modele MoE masive pe clustere hardware, cadrul de lucru utilizează trei piloni principali: paralelismul pe experți, paralelismul de tip pipeline și optimizarea distribuită. Paralelismul pe experți segmentează pool-ul de experți pe noduri, în timp ce paralelismul de tip pipeline fragmentează straturile modelului în etape pentru a păstra cerințele de memorie la un nivel gestionabil. Optimizatorul distribuit asigură că datele de stare ale optimizatorului sunt răspândite în întregul cluster GPU, în loc să fie duplicate în întregime pe fiecare cip.

Sistemul introduce, de asemenea, rafinări de nivel inferior pentru a eficientiza transferul de date și procesarea. Funcționalități precum metadatele de rutare rezidente în GPU permit procesorului (CPU) să încoloneze sarcini fără a aștepta transferurile de date de tip round-trip, în timp ce operațiunile de tip grouped GEMM combină numeroase calcule mai mici ale experților în blocuri mai mari și mai eficiente. În plus, suportul pentru formatul numeric MXFP8 oferă un impuls semnificativ eficienței; benchmark-urile au indicat o creștere de 21% a randamentului de antrenare față de precizia standard BF16, reducând simultan consumul de memorie de vârf cu aproape 8%. Aceste tehnici combinate oferă cercetătorilor un control granular asupra compromisurilor complexe dintre viteză, amprenta de memorie și precizie.

Spre orizontul trilioanelor de parametri

Potențialul practic al Olmo-core 3 este demonstrat de performanța sa la scară extremă. În timpul testelor interne, echipa a utilizat infrastructura pentru a antrena modele cu până la 1,2 trilioane de parametri, menținând un randament impresionant de 858 TFLOP/s/GPU. Aceste teste nu au fost doar teoretice; ele au oferit perspective critice asupra mecanismelor reale de antrenare a modelelor mari, cum ar fi evitarea fenomenului de „token gerrymandering” — o eroare în care rutarea pare echilibrată, dar calitatea scade — precum și nuanțele suprapunerii comunicațiilor cu procesarea.

Ca proiect open-source, Olmo-core 3 reprezintă mai mult decât un instrument pentru Allen Institute; acesta servește drept fundament pentru întreaga comunitate de cercetare. Prin furnizarea unei infrastructuri transparente, Ai2 își propune să democratizeze dezvoltarea modelelor AI performante. Cadrul de lucru este conceput pentru a fi extensibil, permițând dezvoltatorilor să îl adapteze la diverse medii hardware și să experimenteze cu diferite strategii de rutare sau paralelism. Această lansare subliniază convingerea că un AI cu adevărat deschis necesită nu doar accesibilitatea ponderilor modelelor, ci și transparență totală privind infrastructura și metodologiile utilizate pentru antrenarea acestora.

SPONSORED
The 5 Best Over-Ear ANC Headphones of 2026, Tested & Ranked
Ghid Cumpărături Recomandat
92/100
Tech si Gadgeturi•12 min de citit

The 5 Best Over-Ear ANC Headphones of 2026, Tested & Ranked

We locked five over-ear ANC picks for 2026 — Sony WH-1000XM6, Bose QuietComfort Ultra 2, Soundcore Space One, Sennheiser Momentum 5, and Apple AirPods Max 2 — then stress-tested them on lab metrics, long-term owner truth, and live street prices.

Articole similare

Articole asemanatoare, ordonate semantic dupa subiect si actualitate.

Meta pregătește „Muse Charm”, un dispozitiv AI de buzunar de 300 de dolari
Inteligenta Artificiala

Meta pregătește „Muse Charm”, un dispozitiv AI de buzunar de 300 de dolari

Se zvonește că Meta se pregătește să lanseze „Muse Charm”, un dispozitiv AI purtabil cu prețul de 300 de dolari, transformând software-ul său de tip agent într-un companion fizic de dimensiunea unui breloc.

Apple se pregătește să intre în cursa AI-urilor autonome: O nouă viziune pentru macOS
Inteligenta Artificiala

Apple se pregătește să intre în cursa AI-urilor autonome: O nouă viziune pentru macOS

Apple dezvoltă un agent AI sofisticat capabil să opereze sistemul de operare macOS, marcând o schimbare strategică către automatizarea proactivă a fluxurilor de lucru complexe.

Nvidia în derivă: Plecarea neașteptată a lui Jensen Huang
Inteligenta Artificiala

Nvidia în derivă: Plecarea neașteptată a lui Jensen Huang

O analiză a crizei corporative de la Nvidia în urma demisiei subite a CEO-ului veteran Jensen Huang, pe fondul unor controverse personale și îngrijorări privind securitatea națională.

Everful, startup-ul care eficientizează lanțurile de aprovizionare, atrage 48,5 milioane de dolari pentru a automatiza achizițiile globale
Inteligenta Artificiala

Everful, startup-ul care eficientizează lanțurile de aprovizionare, atrage 48,5 milioane de dolari pentru a automatiza achizițiile globale

Everful facilitează legătura dintre micii retaileri și producătorii din China printr-o platformă complexă, bazată pe AI, care gestionează întregul lanț de aprovizionare.

Listarea Anthropic: Un angajament pentru evoluția controlată a AI
Inteligenta Artificiala

Listarea Anthropic: Un angajament pentru evoluția controlată a AI

Odată cu debutul istoric al Anthropic pe bursa publică, CEO-ul Dario Amodei întărește angajamentul companiei față de dezvoltarea responsabilă, promițând să prioritizeze controlul uman în detrimentul lansărilor rapide.

Agentul AI Muse de la Meta, sub lupa autorităților: breșe de confidențialitate și scurgeri de date între conturi
Inteligenta Artificiala

Agentul AI Muse de la Meta, sub lupa autorităților: breșe de confidențialitate și scurgeri de date între conturi

Rapoartele interne sugerează că Muse, agentul AI al Meta, expune din greșeală date private ale utilizatorilor și amestecă informații din conversații personale.

Anthropic debutează istoric pe Nasdaq, cu o evaluare de peste 2 trilioane de dolari
Inteligenta Artificiala

Anthropic debutează istoric pe Nasdaq, cu o evaluare de peste 2 trilioane de dolari

Puterea AI Anthropic a intrat oficial pe piața publică, acțiunile deschizând cu un avans surprinzător de 33% față de prețul deja ridicat al IPO-ului.

Google transformă Gemini pentru macOS într-un agent capabil să controleze computerul
Inteligenta Artificiala

Google transformă Gemini pentru macOS într-un agent capabil să controleze computerul

Google introduce funcționalități de tip agent pentru aplicația desktop Gemini pe Mac, permițând AI-ului să navigheze în aplicații, să gestioneze fișiere și să execute fluxuri de lucru complexe direct pe computerul utilizatorului.