E-BUZZ ME Logo
Inteligenta ArtificialaAnaliza tehnica

Instanțele Google Cloud C4 aduc o îmbunătățire de 70% a costului total de proprietate pentru AI generativ open-source

Publicat
Instanțele Google Cloud C4 aduc o îmbunătățire de 70% a costului total de proprietate pentru AI generativ open-source
1 min de citit176 cuvinte

Pe scurt

Un efort colaborativ între Google Cloud, Intel și Hugging Face a optimizat instanțele C4 pentru a reduce drastic costurile pentru modelele GPT open-source.

Google Cloud a anunțat o etapă importantă în eficientizarea costurilor pentru inteligența artificială generativă, dezvăluind că instanțele sale C4 pot obține o îmbunătățire de 70% a costului total de proprietate (TCO) pentru modelele GPT open-source. Această realizare este rezultatul unui parteneriat strategic care implică Intel și Hugging Face, având ca scop transformarea implementării AI la scară largă într-un proces mai accesibil.

Sinergia dintre Hardware și Software

Creșterile de performanță sunt atribuite în mare măsură integrării celor mai recente acceleratoare hardware de la Intel și a bibliotecilor software optimizate. Prin utilizarea depozitului extins de modele open-source al Hugging Face, colaborarea asigură că dezvoltatorii pot implementa soluții AI de ultimă generație fără costurile prohibitive asociate de obicei cu sarcinile de lucru ce necesită putere de calcul ridicată.

Scalarea AI Open-Source

Această optimizare se concentrează pe software-ul open-source (OSS) pentru GPT, oferind o alternativă viabilă la modelele proprietare. Prin reducerea TCO cu 70%, Google Cloud și partenerii săi coboară bariera de intrare pentru companiile care doresc să își scaleze infrastructura AI utilizând medii cloud eficiente și de înaltă performanță.

Articole similare

Articole asemanatoare, ordonate semantic dupa subiect si actualitate.

Intel lansează AutoRound: Cuantificare avansată pentru modelele LLM și VLM
Inteligenta Artificiala74%

Intel lansează AutoRound: Cuantificare avansată pentru modelele LLM și VLM

Intel a prezentat AutoRound, un algoritm sofisticat de cuantificare a ponderilor conceput pentru a optimiza modelele de limbaj mari și modelele viziune-limbaj.

Modelele Cohere sunt acum disponibile prin Hugging Face Inference Providers
Inteligenta Artificiala72%

Modelele Cohere sunt acum disponibile prin Hugging Face Inference Providers

Modelele de limbaj de mari dimensiuni de la Cohere pot fi acum accesate direct prin infrastructura gestionată de Hugging Face, simplificând procesul de implementare pentru dezvoltatori.

Raport Protect AI și Hugging Face: 4 milioane de modele scanate pentru riscuri de securitate
Inteligenta Artificiala67%

Raport Protect AI și Hugging Face: 4 milioane de modele scanate pentru riscuri de securitate

La șase luni de la începutul parteneriatului lor, Protect AI și Hugging Face au analizat peste 4 milioane de modele de machine learning pentru a identifica vulnerabilități critice de securitate.

Optimizarea performanței LLM: Înțelegerea fazelor Prefill și Decode pentru solicitări concurente
Inteligenta Artificiala67%

Optimizarea performanței LLM: Înțelegerea fazelor Prefill și Decode pentru solicitări concurente

O analiză detaliată despre modul în care optimizarea fazelor de prefill și decode ale inferenței LLM poate îmbunătăți semnificativ performanța pentru solicitările simultane ale utilizatorilor.

Hugging Face intră pe piața de hardware pentru robotică prin achiziția Pollen Robotics
Inteligenta Artificiala67%

Hugging Face intră pe piața de hardware pentru robotică prin achiziția Pollen Robotics

Liderul AI open-source Hugging Face se extinde în zona hardware-ului fizic în urma achiziției startup-ului francez Pollen Robotics.

Lansarea HELMET: Un nou etalon pentru evaluarea modelelor de limbaj cu context extins
Inteligenta Artificiala65%

Lansarea HELMET: Un nou etalon pentru evaluarea modelelor de limbaj cu context extins

Cercetătorii au prezentat HELMET, un cadru de evaluare holistic conceput pentru a testa riguros modul în care modelele AI gestionează volume masive de date și secvențe lungi.

Nvidia investește 1 miliard de dolari în Naver pentru a stimula infrastructura AI din Coreea de Sud
Tech si Gadgeturi63%

Nvidia investește 1 miliard de dolari în Naver pentru a stimula infrastructura AI din Coreea de Sud

Nvidia își consolidează prezența în Coreea de Sud printr-o investiție de 1 miliard de dolari în Naver Corp., destinată finanțării unui nou centru de date masiv pentru inteligență artificială.

Anthropic solicită cipuri de memorie de la SK Hynix pentru dezvoltarea propriilor procesoare AI
Tech si Gadgeturi61%

Anthropic solicită cipuri de memorie de la SK Hynix pentru dezvoltarea propriilor procesoare AI

Dezvoltatorul de inteligență artificială Anthropic a contactat SK Hynix pentru furnizarea de cipuri de memorie, în contextul în care startup-ul explorează crearea propriilor semiconductori.