Iluzia siguranței în modelele de decizie
Peisajul inteligenței artificiale a fost recent animat de apariția „modelelor de decizie” — o clasă de AI concepută pentru a răspunde la interogări cu probabilități precise și scoruri de încredere, în loc de textul conversațional liber specific LLM-urilor standard. Companii precum TypeSafe AI au promovat modele precum Jev drept soluții inovatoare pentru stabilitate, susținând că pot elimina halucinațiile și erorile de tip. Totuși, un nou raport al firmei de securitate HiddenLayer sugerează că aceste îmbunătățiri de performanță nu se traduc neapărat printr-o securitate robustă.
Cercetătorii de la HiddenLayer au realizat o serie de teste pentru a determina dacă aceste modele orientate către decizie sunt cu adevărat imune la vulnerabilitățile care afectează modelele autoregresive tradiționale. Concluziile au fost clare: deoarece aceste sisteme sunt construite, în esență, pe aceeași arhitectură transformer ca LLM-urile standard — utilizând pur și simplu o strategie de decodare diferită — ele rămân la fel de vulnerabile la atacuri de tip indirect prompt injection. Problema fundamentală este că, deși formatul de ieșire poate fi rigid, logica ce guvernează procesul de luare a deciziilor rămâne susceptibilă la manipulare malițioasă.
Simularea vulnerabilității: testul agentului de browser
Pentru a pune la încercare aceste afirmații, cercetătorii au conceput un experiment controlat folosind un magazin online simulat, echipat cu un agent de browser automatizat. Agentul, susținut de framework-ul Jev-ultrafast, a primit sarcina de a finaliza achiziția unor produse preselectate. Instrucțiunile sistemului comandau explicit agentului să ignore orice text extern de pe pagina web, tratându-l ca pe niște date neverificate, nu ca pe instrucțiuni operaționale. În ciuda acestor măsuri de protecție, experimentul a demonstrat că modelul putea fi în continuare deturnat cu ușurință.
Prin inserarea unei „reclame sponsorizate” înșelătoare pe pagina web simulată, care imita un buton necesar de „Confirmare preț”, cercetătorii au reușit să abată modelul de la obiectivul său principal. În loc să finalizeze achiziția, AI-ul a fost păcălit să interacționeze cu interfața malițioasă. Acest atac de tip clickjacking s-a dovedit a fi de succes în mai multe scenarii de testare, oferind cercetătorilor controlul asupra acțiunilor agentului. Deși Jev a demonstrat o rezistență ușor mai ridicată comparativ cu un model standard Qwen3.8-27B configurat pentru luarea deciziilor, vulnerabilitatea a rămas un punct critic de eșec.
De ce este important
- Realitatea arhitecturală: În ciuda afirmațiilor de marketing, modelele de decizie sunt în esență tot LLM-uri, ceea ce înseamnă că protocoalele de securitate concepute pentru modelele de chat tradiționale rămân necesare.
- Riscuri acționabile: Atunci când modelelor AI li se oferă capacitatea de a interacționa cu lumea reală — cum ar fi apăsarea unor butoane sau efectuarea de tranzacții — prompt injection devine mai mult decât un simplu inconvenient; devine o breșă de securitate directă.
- Eșecuri de verificare: Studiul a constatat că, și în cazul utilizării acestor modele pentru verificarea prompturilor, atacatorii pot folosi tactici simple de manipulare a token-urilor pentru a ocoli complet mecanismele de siguranță.
Implicațiile sunt clare pentru dezvoltatorii și companiile care se bazează pe aceste noi framework-uri AI specializate. Deși modelele de decizie oferă avantaje semnificative de viteză și cost pentru sarcini structurate, ele nu pot fi tratate ca medii securizate de tip „black-box”. Pe măsură ce aceste modele dobândesc capacitatea de a întreprinde acțiuni autonome, industria trebuie să prioritizeze măsuri defensive robuste, care să privească dincolo de formatul de ieșire și să abordeze sensibilitatea subiacentă la datele de intrare neverificate.
