Scalare prin optimizare AI
Fetch, populara platformă de recompense și engagement, și-a revizuit cu succes infrastructura de machine learning pentru a face față volumului masiv de date. Procesând peste 80 de milioane de bonuri pe săptămână, cu vârfuri de trafic de sute de scanări pe secundă, compania avea nevoie de o arhitectură mai robustă și scalabilă. Prin migrarea modelelor pe Amazon SageMaker și adoptarea instrumentelor avansate Hugging Face, Fetch a reușit să reducă la jumătate latența de procesare, asigurând utilizatorilor o experiență aproape instantanee.
Tranziția, care a durat 12 luni, a inclus implementarea a peste cinci noi modele de machine learning. Această optimizare nu a vizat doar viteza, ci a reprezentat o schimbare fundamentală în modul în care compania extrage și structurează datele din tranzacțiile clienților. Îmbunătățirile obținute au oferit partenerilor brandului perspective mai detaliate, susținând creșterea bazei de utilizatori activi lunar de la 10 la 18 milioane.
Sinergie tehnică: SageMaker și Hugging Face
Nucleul acestei transformări tehnice rezidă în integrarea fluidă dintre Amazon SageMaker și ecosistemul Hugging Face. Fetch a utilizat AWS Deep Learning Containers pentru a implementa modele de tip transformer, beneficiind de un mediu gestionat care elimină sarcinile administrative. Utilizarea Amazon SageMaker Hugging Face Inference Toolkit a oferit companiei un standard open-source pentru a rula modele complexe cu o fiabilitate ridicată.
Accelerarea hardware a jucat un rol crucial. Prin utilizarea instanțelor multi-GPU în Amazon SageMaker, echipa de ingineri a reușit să gestioneze fluxuri de lucru intensive, care reprezentau anterior blocaje în procesare. În plus, instrumente precum Amazon SageMaker Inference Recommender au automatizat testarea sarcinilor și optimizarea modelelor, reducând semnificativ timpul necesar pentru a lansa funcționalități noi din stadiul de laborator în aplicația mobilă.
De ce contează
- Reducerea latenței: Optimizând pipeline-ul de inferență, Fetch a redus latența pentru cele mai lente scanări cu 50%, oferind o experiență mai rapidă și mai stabilă.
- Precizie sporită: Integrarea capacităților avansate de calibrare a modelelor a dus la o îmbunătățire de 200% a preciziei sistemelor de recunoaștere a documentelor.
- Eficiență operațională: Implementările standardizate și testarea automatizată au facilitat lansările, permițând chiar și noilor membri ai echipei să publice actualizări în siguranță.
- Scalabilitate: Arhitectura permite antrenarea paralelă a modelelor și scalarea fără efort pentru inferență, oferind o bază solidă pentru expansiunea către noi domenii, precum prevenirea fraudei.
Inovarea ca strategie de viitor
Succesul acestei inițiative a motivat echipa Fetch să exploreze noi limite ale modelelor de machine learning. Menținând un stiva tehnologică bazată pe cele mai noi funcționalități SageMaker, compania își pregătește platforma pentru provocările viitoare. Există deja planuri pentru aplicarea acestor pipeline-uri ML avansate în direcții precum detectarea fraudei și analiza granulară a comportamentului consumatorilor. Pe măsură ce Fetch evoluează, parteneriatul dintre expertiza internă în inginerie și infrastructura scalabilă AWS servește drept model pentru companiile care doresc să transforme volume mari de date brute în informații precise și acționabile.
