Combaterea CSAM cu precizie prin AI
OpenAI a lansat oficial un set solid de măsuri de siguranță menite să identifice și să atenueze proliferarea materialelor care conțin abuzuri asupra minorilor (CSAM). Pe măsură ce conținutul generat de AI devine tot mai răspândit, riscul de utilizare necorespunzătoare a determinat compania să integreze sisteme specializate de detecție direct în infrastructura sa. Elementul central al acestei inițiative este un nou clasificator de imagini de înaltă precizie, dezvoltat în colaborare cu National Center for Missing and Exploited Children (NCMEC).
Acest clasificator funcționează prin atribuirea unui scor de probabilitate imaginilor, semnalând echipei de moderatori probabilitatea ca un fișier să conțină conținut abuziv. Prin restrângerea volumului de muncă pe care trebuie să îl examineze moderatorii umani, instrumentul crește considerabil eficiența procesului. Testele inițiale, realizate împreună cu parteneri din industrie, au arătat că noul clasificator marchează cu 48% mai puține imagini benigne, menținând în același timp aceeași rată de detecție pentru materialele abuzive. Astfel, echipele de siguranță își pot concentra eforturile acolo unde este cea mai mare nevoie, asigurând identificarea și eliminarea rapidă a conținutului problematic.
Descurajare proactivă în ChatGPT
Dincolo de detectare, OpenAI adoptă o strategie de descurajare activă pentru utilizatorii ChatGPT. Interfața va afișa acum ecrane de avertizare sofisticate, declanșate atunci când un utilizator încearcă să genereze conținut care sexualizează minorii. Aceste alerte nu sunt pur pasive; ele direcționează utilizatorii către resurse de suport specializate, menite să combată tiparele comportamentale dăunătoare.
Pentru a consolida aceste avertismente, OpenAI a implementat un sistem disciplinar. Utilizatorii care încearcă să acceseze sau să genereze conținut interzis vor fi suspendați automat timp de 24 de ore. Încălcările repetate vor duce la închiderea definitivă a contului. Aceste linii directoare au fost elaborate cu atenție, pe baza contribuțiilor oferite de organizații de siguranță precum Lucy Faithfull Foundation și cercetători independenți, pentru a garanta că mesajele de descurajare sunt eficiente și corecte din punct de vedere etic.
Sprijin pentru dezvoltatori și autorități
Conștientizând că siguranța este o responsabilitate comună în întregul ecosistem tehnologic, OpenAI oferă gratuit acces la API-ul său pentru clasificarea imaginilor către companii selectate. Această extindere este susținută de parteneriate cu Tech Coalition și ROOST, asigurând desfășurarea tehnologiei pe mai multe platforme pentru a crea o barieră unitară împotriva exploatării. Mai mult, compania a lansat un set cuprinzător de recomandări pentru dezvoltatori, oferindu-le instrucțiuni privind integrarea instrumentelor de siguranță a minorilor și modul corect de raportare a descoperirilor către NCMEC.
Pentru agențiile de aplicare a legii, OpenAI oferă funcții de investigare specializate. Acestea includ module plug-in dedicate și instrumente avansate de analiză a datelor, concepute pentru a sprijini investigațiile complexe privind siguranța minorilor. Oferind investigatorilor atât instrumente software, cât și un ghid detaliat de utilizare a AI în activitatea lor, OpenAI urmărește să reducă discrepanța dintre capacitățile AI în plină evoluție și nevoile tehnice ale autorităților de aplicare a legii la nivel global.
De ce este important
- Acuratețe îmbunătățită: Noul clasificator reduce oboseala moderatorilor umani, concentrând analizele pe conținutul cu probabilitate mare de a fi abuziv.
- Colaborare la nivel industrial: OpenAI împărtășește activ tehnologia sa de clasificare cu alte companii și organizații pentru a standardiza practicile de siguranță.
- Siguranță proactivă: Tranziția de la blocarea pasivă la avertizarea activă a utilizatorilor și suspendări marchează o poziție mai fermă privind responsabilitatea platformelor.
- Sprijin strategic: Echipând autoritățile cu instrumente AI, compania își poziționează tehnologia drept un activ de investigare esențial în eforturile de protecție a minorilor.











