Evoluția clasificării tranzacțiilor
Rocket Money, aplicația de finanțe personale cunoscută anterior sub numele de Truebill, s-a confruntat cu un blocaj clasic de scalare pe măsură ce baza de utilizatori a crescut exploziv. Ani la rând, platforma s-a bazat pe un sistem complex de expresii regulate și tabele decizionale manuale pentru a categorisi milioane de tranzacții lunar. Deși eficientă în primii ani de existență, dezvoltarea economiei de abonamente și apariția rapidă a unor noi comercianți au făcut ca întreținerea manuală a regulilor să devină nesustenabilă. Conflictele, suprapunerile și volumul uriaș de categorii noi au impus o abordare mai sofisticată și automatizată pentru îmbogățirea datelor.
Echipa de inginerie a Rocket Money a decis să adopte o strategie bazată pe machine learning. După testarea mai multor topologii, aceștia s-au oprit asupra familiei de modele BERT, care s-au dovedit extrem de capabile să gestioneze clasificarea nuanțată a textului, transformând șirurile criptice ale tranzacțiilor în informații financiare relevante. Totuși, tranziția de la un mediu de cercetare offline la o linie de producție activă, care procesează peste un miliard de tranzacții pe lună, a reprezentat o provocare infrastructurală dificilă pentru o echipă restrânsă.
Rezolvarea puzzle-ului infrastructurii de inferență
În loc să consume ore prețioase de inginerie pentru a construi și menține un stack intern de MLOps, Rocket Money a ales să utilizeze Hugging Face Inference API. Această decizie a fost motivată de nevoia unei soluții cu disponibilitate ridicată și optimizată pentru calcul, care să poată scala dinamic fără dificultățile gestionării platformelor de machine learning tradiționale din cloud. Procesul de integrare a început cu o perioadă riguroasă de evaluare de trei luni, timp în care echipa a rulat teste de sarcină simulate pentru a se asigura că API-ul poate face față naturii volatile și volumului mare de date financiare.
Delegând sarcina dificilă de servire a modelelor către Hugging Face, inginerii Rocket Money și-au putut redirecționa eforturile către optimizarea performanței modelelor și acuratețea etichetelor. Tranziția nu a fost lipsită de obstacole — incluzând gestionarea straturilor de caching pentru a face față vârfurilor masive de trafic și optimizarea densității claselor — însă parteneriatul s-a dovedit un succes. Echipa a finalizat implementarea modelului bazat pe transformer în producție, gestionând un aflux masiv de trafic și menținând latența scăzută necesară pentru o experiență utilizator fluidă.
De ce contează
- Scalabilitate: Procesarea cu succes a peste un miliard de tranzacții pe lună demonstrează că modelele transformer specializate pot depăși sistemele bazate pe reguli în medii cu creștere rapidă.
- Optimizarea resurselor: Alegând un API de inferență gestionat, echipa a evitat capcana „dezvoltare proprie versus achiziție”, permițând unei echipe mici de ML să lucreze cu eficiența unei organizații mult mai mari.
- Reziliență operațională: Implementarea unui strat de caching înaintea apelurilor de inferență a permis reducerea costurilor și gestionarea unei cardinalități ridicate, atingând o rată impresionantă de succes de 85% pentru cache în producție.
Pregătirea viitorului în analiza financiară
Cu fluxul principal de clasificare stabil și funcțional, echipa Rocket Money se concentrează acum pe îmbunătățirea continuă. Aceasta include actualizarea zilnică a etichetelor de antrenament pentru a fi la curent cu rebranduirile companiilor și noile servicii ale comercianților, precum și rafinarea topologiei modelului. Deși modelele lingvistice mari (LLM) continuă să domine titlurile știrilor, Rocket Money a constatat că modelele lor de clasificare de tip transformer oferă în prezent cel mai bun echilibru între eficiența costurilor și inferența de mare viteză pentru cazul lor specific de utilizare.
Privind spre viitor, echipa explorează potențialul integrării LLM-urilor pentru a înțelege mai bine segmentul companiilor mici și tiparele comerciale unice. Această colaborare servește drept model pentru modul în care companiile de dimensiuni medii pot reduce prăpastia dintre cercetarea în machine learning și implementările critice de producție, bazându-se pe parteneriate solide pentru gestionarea infrastructurii, în timp ce își mențin atenția concentrată pe oferirea de valoare utilizatorilor.
