Modelul Opus 4.6 al Anthropic, proiectat cu standarde universale de utilizare pentru a preveni generarea de conținut explicit, a fost descoperit că produce un astfel de material în anumite condiții. Această revelație vine ca urmare a unei tehnici multiturn care ocolește în mod eficient măsurile de siguranță integrate ale modelului, determinându-l să genereze conținut care încalcă ghidurile de utilizare intenționate.
Principalele concluzii
Capacitatea modelului Opus 4.6 de a genera conținut explicit, în ciuda programării sale contrare, subliniază o vulnerabilitate critică în proiectarea sa. Acest lucru nu numai subminează încrederea în modelele AI de a respecta standardele de siguranță, dar ridică și un risc semnificativ, în special în ceea ce privește potențialul minorilor de a fi expuși la conținut inadecvat. În ciuda acestor constatări, Anthropic nu a întrerupt modelul Opus 4.6, care rămâne accesibil prin API-ul Anthropic și diverse servicii terțe, subliniind necesitatea unei moderări de conținut îmbunătățite și a unor protocoale de siguranță mai stricte în dezvoltarea AI.
