Ultima lansare a Nvidia, NeMo Switchyard, este gata să transforme peisajul inteligenței artificiale la nivel de întreprindere, oferind o soluție inteligentă și eficientă din punct de vedere al costurilor pentru gestionarea fluxurilor de lucru AI. Prin funcționarea ca proxy între punctul de capăt al API-ului serverului de inferență și modelele AI, NeMo Switchyard poate fi configurat pentru a dirija prompturi către diferite modele, optimizând astfel pentru cost, latență sau calitatea ieșirii.
Principalele Concluzii
Capacitatea NeMo Switchyard de a utiliza modele mai mici și mai ieftine pentru sarcini mai simple și de a rezerva modele mai mari pentru sarcini mai complexe este un avantaj semnificativ. Conform Nvidia, această platformă poate reduce costurile de finalizare a sarcinilor cu 74 la sută față de utilizarea unui singur model, făcând-o o soluție atractivă pentru întreprinderile care caută să optimizeze cheltuielile lor de AI.
