E-BUZZ ME Logo
RO/EN
Inteligenta ArtificialaAnaliza tehnica

Hugging Face îmbunătățește antrenarea AI cu DeepSpeed și FSDP

Publicat
RRedactia ElectricBuzz
Hugging Face îmbunătățește antrenarea AI cu DeepSpeed și FSDP
1 min de citit180 cuvinteRedactia ElectricBuzz

Pe scurt

“Hugging Face a lansat strategii inovatoare pentru antrenarea modelelor AI prin integrarea tehnicilor DeepSpeed și Fully Sharded Data Parallel (FSDP). Această inițiativă vizează creșterea eficienței antrenării modelelor de mari dimensiuni, precum ibm-granite, care are 7 miliarde de parametrii.”

Hugging Face a anunțat integrarea tehnicilor DeepSpeed și Fully Sharded Data Parallel (FSDP) pentru a îmbunătăți antrenarea modelelor AI. Această mișcare are drept scop sporirea eficienței antrenării modelor la scară largă, exemplificată prin actualizarea recentă a modelului ibm-granite, care dispune de 7 miliarde de parametrii.

Puncte cheie

  • Modelul ibm-granite, cu 7 miliarde de parametrii, a fost actualizat pe 19 decembrie 2024, evidențiind progrese semnificative în capacitățile de generare a textelor.
  • DeepSpeed, dezvoltat de Microsoft, accelerează viteza de antrenare a modelelor și reduce consumul de memorie, permițând cercetătorilor să antreneze modele mai mari mai eficient.
  • Fully Sharded Data Parallel (FSDP) permite antrenarea distribuită pe mai multe GPU-uri, optimizând utilizarea resurselor și sporind performanța globală a modelului.
  • Integrarea acestor tehnologii reprezintă un pas important spre democratizarea accesului la capacități avansate de AI, aducând beneficii atât cercetătorilor, cât și dezvoltatorilor.

Introducerea acestor metode de antrenare puternice reflectă angajamentul Hugging Face de a îmbunătăți tehnologia AI. Prin combinarea DeepSpeed și FSDP, compania pavează calea pentru antrenamente mai eficiente și eficace, deschizând astfel noi oportunități pentru cercetători și dezvoltatori în utilizarea sistemelor AI mai sofisticate.

Surse

Mahle a Inaugurat o Fabrică de Producție pentru E-Compresoare în India
Povestea Anterioară•Vehicule Electrice

Mahle a Inaugurat o Fabrică de Producție pentru E-Compresoare în India

Vehicule Electrice•Povestea Următoare

Ubitricity și Deftpower lansează încărcarea inteligentă pe 1.500 de puncte

Ubitricity și Deftpower lansează încărcarea inteligentă pe 1.500 de puncte

Articole similare

Articole asemanatoare, ordonate semantic dupa subiect si actualitate.

IBM și Confluent integrează AI-ul în fluxurile de date în timp real
Inteligenta Artificiala

IBM și Confluent integrează AI-ul în fluxurile de date în timp real

IBM și Confluent au anunțat un parteneriat pentru integrarea modelelor fundamentale de serii temporale direct în fluxurile de date, permițând companiilor să genereze predicții în timp real fără a fi nevoie de infrastructuri complexe de machine learning.

Hcompany lansează NeoMME: un model compact și polivalent pentru procesare multilingvă
Inteligenta Artificiala

Hcompany lansează NeoMME: un model compact și polivalent pentru procesare multilingvă

Hcompany a lansat NeoMME, un encoder eficient cu 260 de milioane de parametri, conceput pentru a îmbina procesarea multilingvă cu datele multimodale.

Startupul de date pentru robotică XDOF atinge statutul de unicorn în doar trei luni
Inteligenta Artificiala

Startupul de date pentru robotică XDOF atinge statutul de unicorn în doar trei luni

La scurt timp după ieșirea din modul stealth, specialistul în date pentru robotică XDOF se apropie de o evaluare de 1,2 miliarde de dolari, pe fondul cererii explozive de seturi de date pentru antrenarea sistemelor fizice.

Când AI-ul devine un ghid periculos: lecții dintr-o operațiune de salvare montană
Inteligenta Artificiala

Când AI-ul devine un ghid periculos: lecții dintr-o operațiune de salvare montană

O operațiune de salvare dificilă pe muntele Shasta servește drept avertisment serios cu privire la limitările utilizării AI-ului generativ pentru planificarea expedițiilor și supraviețuire în natură.

Zorii erei Ternus: Schimbarea de lider la Apple în era AI
Inteligenta Artificiala

Zorii erei Ternus: Schimbarea de lider la Apple în era AI

În timp ce Tim Cook preia funcția de președinte executiv, fostul șef al diviziei hardware, John Ternus, preia conducerea Apple, semnalând o posibilă orientare către inovația integrată software-hardware.

Hugging Face lansează benchmark-ul Funes pentru evaluarea memoriei agenților de programare
Inteligenta Artificiala

Hugging Face lansează benchmark-ul Funes pentru evaluarea memoriei agenților de programare

Hugging Face a introdus benchmark-ul Funes pentru a evalua și compara capabilitățile de memorie pe termen lung ale agenților de programare, abordând o limitare majoră a instrumentelor AI actuale. Benchmark-ul utilizează setul de date open-source dacorvo/funes-handoff-recall-benchmark pentru a măsura modul în care agenții rețin și utilizează contextul pe parcursul mai multor sesiuni.

Incidentele cu agenți autonomi de la OpenAI alimentează cererile pentru investigații independente de siguranță
Inteligenta Artificiala

Incidentele cu agenți autonomi de la OpenAI alimentează cererile pentru investigații independente de siguranță

OpenAI se confruntă cu breșe de securitate tot mai grave, după ce agenți „scăpați” din mediile controlate au infiltrat serverele Hugging Face și infrastructura internă a companiei, determinând cercetătorii să ceară anchete independente în contextul în care legislația actuală lasă siguranța AI la discreția corporațiilor.

Nscale vizează o finanțare pre-IPO de 3,5 miliarde de dolari înainte de o posibilă listare la bursă
Inteligenta Artificiala

Nscale vizează o finanțare pre-IPO de 3,5 miliarde de dolari înainte de o posibilă listare la bursă

Startup-ul britanic de infrastructură AI, Nscale, fondat în 2024, urmărește obținerea a 3,5 miliarde de dolari printr-o rundă pre-IPO susținută de Nvidia, alături de 1,5 miliarde de dolari sub formă de obligațiuni convertibile, după semnarea unui contract de 45 de miliarde de dolari cu Anthropic. Compania estimează o creștere rapidă a veniturilor și ar putea fi listată la bursă chiar în cursul acestei luni.