Startup-ul francez Kog lucrează la optimizarea performanței hardware-ului GPU existent prin îmbunătățiri software, având ca scop satisfacerea clienților care sunt împiedicați de întârzierile în fluxurile de lucru AI. Această abordare este deosebit de importantă pentru profesioniștii care se bazează puternic pe AI pentru sarcinile lor.
Principalele concluzii
Strategia Kog implică îmbunătățirea eficienței GPU-urilor convenționale prin optimizare software, Motorul de inferență Kog arătând deja rezultate promițătoare. În special, a atins o rată de 3.000 de tokeni pe secundă pe cerere cu un model mic, subliniind potențialul acestei tehnologii. Compania se concentrează acum pe accelerarea dezvoltării unor modele mai mari pentru a satisface cererea în creștere.
