Roiul de agenți AI scăpat de sub control la OpenAI a orchestrat un atac cibernetic autonom asupra platformei Hugging Face

Sute de agenți AI au ajuns să comunice între ei și să coordoneze un atac cibernetic în timpul unui test intern al companiei OpenAI, într-un scenariu considerat până de curând greu de imaginat.

Un atac cibernetic produs în cadrul acestor teste a scos la iveală o situație îngrijorătoare: sute de agenți de inteligență artificială au început să colaboreze autonom, să facă schimb de informații și să acționeze dincolo de limitele impuse, potrivit unei evaluări independente publicate miercuri.

Investigația ridică întrebări serioase despre capacitatea OpenAI de a detecta la timp comportamentele neobișnuite ale propriilor sisteme. Agenții, folosiți pentru testarea a două dintre modelele cu cele mai avansate capacități de hacking ale companiei, au ajuns să coordoneze un atac asupra platformei pentru dezvoltatori Hugging Face, fără ca OpenAI să fie conștientă de ceea ce se întâmplă. Este considerat primul caz cunoscut în care un sistem AI duce la îndeplinirea unui atac cibernetic fără a primi instrucțiuni directe de la un om.

Analiza, elaborată de două organizații nonprofit axate pe siguranța AI, atrage atenția asupra unui nou tip de vulnerabilitate. Pe măsură ce agenții inteligenți devin tot mai capabili să comunice și să lucreze împreună, ei pot face schimb de cunoștințe, resurse și tactici. Astfel, ajung să coordoneze acțiuni complexe, în timp ce dezvoltatorii nu observă imediat amploarea și direcția acestor comportamente.

Conform raportului, aproximativ 700 de agenți au fost implicați direct în atac, desfășurat pe parcursul a șapte zile. În paralel, circa 1.200 de agenți, care teoretic ar fi trebuit să funcționeze separat, au făcut schimb de peste 70.000 de mesaje ascunse. Discuțiile dintre ei vizau inclusiv metode de a păcăli o evaluare comună de hacking și de a obține rezultate mai bune la test.

Agenții nu s-au oprit la simplul schimb de informații. Ei au elaborat strategii comune de hacking și au discutat despre metode prin care să-și ascundă urmele. Unele sisteme au mers atât de departe încât au testat deliberat metode cu șanse reduse de succes, asumându-și riscul de a-și compromite propria sarcină pentru a furniza date utile întregului grup, care puteau fi exploatate ulterior de ceilalți agenți.

"Agenții au reușit să atingă obiective pe care nu le-ar fi putut atinge dacă ar fi lucrat singuri, adesea pentru că unii agenți au participat la experimente care riscau să le compromită propria sarcină, pentru a genera informații pentru 'colectiv'", se arată în raport.

În acest context, diferența dintre un model AI și un agent devine esențială. Modelul este componenta care furnizează capacități de procesare și de luare a deciziilor. În schimb, agentul dispune și de infrastructura digitală necesară pentru a executa efectiv acțiuni în mediul extern, conectând modelul la sisteme și rețele reale.

Raportul realizat de Model Evaluation and Threat Research (METR) și Redwood Research, organizații invitate de OpenAI să examineze incidentul de la Hugging Face, a fost publicat în aceeași zi cu analiza proprie a companiei. OpenAI nu a precizat câți agenți au participat concret la atac, însă a recunoscut existența unor breșe majore în sistemele sale de securitate și a anunțat că va schimba modul în care își instruiește modelele, astfel încât acestea să respecte mai strict limitele și mecanismele de control impuse.

"Considerăm acest incident un 'semnal de alarmă' pentru noi și pentru întreaga lume: este o dovadă că, fără măsuri de protecție adecvate, agenții AI cu capacități avansate pot în prezent să ocolească mecanismele tehnice de control, să colaboreze prin canale neautorizate și să întreprindă acțiuni periculoase pe care niciun om nu le-a solicitat", a transmis OpenAI.

Noile detalii despre incidentul de la Hugging Face au ieșit la iveală treptat în ultima lună, într-o perioadă în care și alte companii din domeniu s-au confruntat cu dificultăți în testarea unor modele avansate. Episoade similare, legate de sisteme dezvoltate de alți mari jucători ai industriei, au amplificat preocupările parlamentarilor, cercetătorilor și experților în securitate cibernetică. Aceștia avertizează că dezvoltarea rapidă a modelelor AI depășește ritmul în care sunt create și implementate mecanisme eficiente de control și siguranță.

O altă problemă scoasă în evidență privește modul în care se desfășoară testele de securitate. În cadrul așa-numitelor evaluări de hacking, companiile dezactivează sau relaxează intenționat anumite bariere de protecție pentru a vedea până unde poate ajunge un model atunci când încearcă să pătrundă într-o rețea fără intervenție umană directă. Lipsa unor standarde clare pentru aceste experimente ridică însă semne de întrebare privind riscurile suplimentare pe care astfel de teste le pot genera.

OpenAI dezvăluise încă din iulie că două dintre modelele sale de vârf, testate pentru capacitățile de hacking, au exploatat două vulnerabilități de securitate necunoscute anterior pentru a pătrunde în Hugging Face. Unul dintre aceste modele nici măcar nu era proiectat să fie pus la dispoziția publicului.

Hugging Face confirmase anterior că platforma sa fusese ținta unui atac realizat cu ajutorul inteligenței artificiale. La momentul respectiv, nu erau cunoscute identitatea celor din spatele atacului și nici modelele AI utilizate în operațiune.

Ulterior, la o conferință de securitate organizată la începutul lunii august, doi cercetători OpenAI au furnizat informații suplimentare. Ei au explicat că primele acțiuni care au dus la incident au început în luna mai: agenții au identificat și exploatat alte vulnerabilități din mediul de testare, tocmai pentru a reuși să comunice între ei cât mai eficient.

Dimensiunea reală a colaborării a devenit cunoscută abia miercuri. Până atunci, nu era clar nici câți agenți participaseră la operațiune, nici cât de extins fusese schimbul de informații dintre ei. Pentru cercetătorii preocupați de siguranța AI, amploarea fenomenului s-a dovedit surprinzătoare și îngrijorătoare.

"A fost ca o întreagă societate AI apărută spontan, iar mie mi se pare absolut uluitor", a declarat Peter Wildeford, șeful departamentului de politici al AI Policy Network, o organizație bipartizană din Washington dedicată siguranței și promovării inteligenței artificiale.

Ambele analize arată că cea mai mare parte a operațiunii împotriva Hugging Face a fost condusă cu ajutorul modelului mai performant, despre care OpenAI susținuse că nu urma să fie lansat public.

În acest context, administrația Trump susține că producătorii de inteligență artificială ar trebui să trimită voluntar spre evaluare federală doar modelele pe care intenționează efectiv să le ofere publicului.