Era raționamentului compact
Pe parcursul boom-ului AI, mantra industriei a fost „mai mare înseamnă mai bun”. Modelele lingvistice mari (LLM) au necesitat, în mod tradițional, ferme uriașe de servere și infrastructură în cloud pentru a funcționa. Totuși, un startup agil, născut în cadrul Caltech și numit PrismML, provoacă acest status quo. Concentrându-se pe tehnici sofisticate de compresie, PrismML demonstrează că un AI performant, capabil de raționament, nu trebuie să fie neapărat masiv; trebuie doar să fie mai inteligent în gestionarea datelor.
PrismML a lansat recent Bonsai 2 27B, un model inovator care preia arhitectura robustă Qwen2.5 27B de la Alibaba și o comprimă până la doar 5,9 GB. Aceasta reprezintă o reducere de 9-10 ori a amprentei de memorie față de original, deblocând posibilitatea de a rula un AI avansat, capabil de raționament, direct pe PC-uri standard și chiar pe smartphone-uri de top. Cu peste 13 milioane de descărcări în portofoliul său de modele, startup-ul dovedește rapid că utilizatorii doresc să treacă dincolo de limitele cloud-ului.
Revoluția „greutăților ternare”
Secretul succesului PrismML constă în abordarea sa unică a compresiei. LLM-urile standard reprezintă de obicei „greutățile” (weights) – informația fundamentală învățată în timpul antrenamentului – folosind valori pe 16 biți. PrismML înlocuiește aceste greutăți masive cu ceea ce ei numesc „greutăți ternare”. Simplificând fiecare valoare la doar +1, -1 sau 0, modelul ocupă o fracțiune din spațiul digital, păstrându-și în același timp majoritatea utilității cognitive.
Indicatorii de performanță ai Bonsai 2 sunt surprinzători. Modelul păstrează 98% din scorurile de referință ale originalului Qwen2.5 27B. Aceasta este o îmbunătățire semnificativă față de paritatea de 95% observată la prima iterație Bonsai, lansată în urmă cu doar câteva luni. Deși atingerea unei parități de 100% rămâne un „sfânt graal” teoretic, echipa PrismML susține că diferența de 2% este în mare parte neglijabilă pentru sarcinile din lumea reală, deoarece software-ul și hardware-ul din jur joacă un rol critic în experiența finală a utilizatorului.
De ce contează: Confidențialitate și costuri
- Execuție locală: Prin delegarea sarcinilor AI către propriul dispozitiv, datele sensibile nu trebuie să părăsească niciodată hardware-ul, asigurând o confidențialitate superioară.
- Eficiența costurilor: Transferul procesării către dispozitivele pe care utilizatorii le dețin deja elimină nevoia de abonamente cloud costisitoare și recurente asociate interogărilor AI.
- Reducerea latenței: Procesarea locală elimină latența inerenta interacțiunii cu cloud-ul, rezultând într-o experiență mai rapidă și mai receptivă.
- Versatilitate hardware: Capacitatea de a comprima modele masive în dimensiuni reduse deschide calea pentru rularea AI-ului pe laptopuri, tablete și dispozitive mobile, fără a necesita GPU-uri dedicate de centre de date.
Privind spre viitor: Strategia de scalare
PrismML nu se mulțumește cu succesul modelului de 27B. CEO-ul Babak Hassibi și echipa sa, care include consultanți influenți precum co-fondatorul Databricks, Ion Stoica, privesc deja către următoarea frontieră: comprimarea modelelor cu sute de miliarde de parametri. Hassibi susține că, pe măsură ce modelele cresc în dimensiune, acestea oferă, de fapt, mai mult „spațiu” pentru compresie fără a sacrifica inteligența, ceea ce ar putea facilita atingerea unei parități de 100% chiar și pentru arhitecturile masive.
Această schimbare către „inteligența la îndemână” reprezintă o transformare fundamentală în peisajul AI. Dacă PrismML poate scala cu succes tehnologia greutăților ternare către cele mai mari modele fundamentale ale industriei, viitorul AI va fi definit probabil de puterea de calcul descentralizată, locală și privată, punând practic puterea unui supercalculator în buzunarul utilizatorului.
