Institutul de Inovare Tehnologică (TII) a dezvăluit Falcon-Edge, o serie revoluționară de modele de limbaj de mari dimensiuni, concepută pentru a reduce decalajul dintre performanța de nivel înalt și eficiența hardware. Aceste modele utilizează tehnici de cuantificare de 1,58 biți, o abatere semnificativă de la precizia standard de 16 biți sau 8 biți, pentru a reduce drastic necesarul de memorie și resurse computaționale.
Universalitate și posibilitate de ajustare fină
Spre deosebire de multe modele compacte specializate, Falcon-Edge este conceput ca o arhitectură universală. Acest lucru permite modelelor să fie ajustate (fine-tuned) pentru o varietate largă de sarcini secundare, de la asistență în programare până la scriere creativă, fără a pierde câștigurile de eficiență oferite de structura de 1,58 biți. Această versatilitate le face ideale pentru implementarea pe dispozitive edge, unde energia și memoria sunt strict limitate.
Optimizat pentru Edge
Prin utilizarea abordării de 1,58 biți (ternară), modelele Falcon-Edge pot efectua multiplicări de matrice folosind în principal operații de adunare. Acest lucru scade semnificativ amprenta energetică a inferenței AI. Lansarea reprezintă un pas important înainte în direcția accesibilizării inteligenței artificiale generative pe hardware local, reducând dependența de infrastructura bazată pe cloud.
