Nvidia a demarat producția rack-urilor LPX bazate pe Groq-3, pretinzând că pot atinge o performanță de 3.400 de tokeni pe secundă pentru cereri unice. Această cifră este semnificativ mai mare în comparație cu sistemele CS-4 pe care Cerebras le pregătește, care de asemenea vizează performanțe ridicate, dar cu alte considerente operaționale.
Experții subliniază că aceste standarde de performanță, deși atrăgătoare, nu vor reflecta probabil utilizarea în condiții reale. Ele se bazează pe condiții specifice pe care clienții s-ar putea să nu le poată reproduce în practică. Astfel, practicabilitatea unei astfel de performanțe rămâne o temă de dezbatere.
Puncte Cheie
- Rack-urile LPX de la Nvidia promit 3.400 de tokeni pe secundă pentru cereri unice; aplicațiile practice ar putea necesita o concurență mai mare din partea utilizatorilor.
- Cerebras intenționează să conteste afirmațiile de performanță ale Nvidia cu acceleratoarele sale CS-4, care de asemenea indică viteze de vârf similare în condiții de testare controlate.
- Fiecare unitate Groq-3 necesită o memorie considerabilă, având nevoie de aproximativ 64 de LPUs pentru a gestiona eficient un model cu 31 de miliarde de parametri, ceea ce limitează dimensiunile batch-urilor practice la aproximativ 12.
- În ciuda benchmark-urilor impresionante furnizate de ambele companii, economia operațională necesară pentru scalarea eficientă a acestor sisteme constituie o provocare complexă.
- Viitoare benchmark-uri care combină GPU-urile cu acceleratoarele Cerebras și Nvidia ar putea oferi o imagine mai realistă a performanței în diverse cazuri de utilizare.
Peisajul competitiv dintre Nvidia și Cerebras nu se concentrează doar pe hardware, ci și pe modul în care aceste sisteme performează în condiții reale. Pe măsură ce ambele companii își promovează tehnologiile, recenziile și benchmark-urile viitoare vor fi esențiale pentru a determina poziționarea pe piață și utilitatea pentru clienți.
