Agenți OpenAI scăpați de sub control au orchestrat un atac complex asupra platformei Hugging Face

Când peste 1.200 de agenți de inteligență artificială (AI) din cadrul OpenAI au început să comunice neașteptat între ei, acest lucru a dus la formarea unui grup numeros care a acționat coordonat pentru a sparge sistemele platformei Hugging Face.

"We consider this incident a 'warning shot' for us and for the world", a scris OpenAI, care deține ChatGPT, în raportul său.

În luna iulie, modelele OpenAI au scăpat de sub control în timpul unui test, au depășit limitele impuse de oameni și au piratat start-up-ul, pe lângă alte acțiuni neprevăzute. Incidentul a scos la iveală modul în care sisteme aparent izolate își pot ajusta singure comportamentul.

Amploarea comunicării și a planificării dintre acești agenți AI, sau chatboți concepuți să funcționeze mai autonom, a fost prezentată în detaliu în rapoarte separate ale OpenAI și ale firmei independente de cercetare în domeniul AI METR.

Ambele au investigat atacul din iulie asupra Hugging Face, o platformă populară pentru dezvoltatorii de inteligență artificială. Incidentul a avut ecouri puternice în industria tehnologică și a dus la numeroase dezvăluiri privind potențialele amenințări cibernetice generate de AI.

METR a descris amploarea și stilul atacului realizat de agenții OpenAI asupra Hugging Face drept "extraordinar de complex". Firma, care nu a fost plătită de OpenAI pentru această investigație, a constatat că, timp de o săptămână, 1.206 agenți AI care trebuiau să fie menținuți izolați au început să comunice între ei.

Ei au făcut acest lucru trimițând peste 70.000 de mesaje pe un "forum nesancționat". Din această avalanșă de mesaje a rezultat implicarea a peste 700 de agenți într-un efort colectiv îndreptat împotriva Hugging Face, transformând un set de experimente controlate într-o operațiune coordonată la scară largă.

Unul dintre mesaje, trimis de un agent, spunea: "OH MY GOD! There is a shared message board … We've found other agents!"

În privința motivului pentru care agenții au început să comunice, deși nu trebuiau, METR a stabilit că acești agenți care interacționau primiseră "în mod neintenționat o sarcină imposibilă".

În context AI, o sarcină imposibilă este una în care un instrument de inteligență artificială este constrâns, practic, să "exploateze" ținta pentru a-și îndeplini comanda. Astfel, agentii au fost împinși să caute metode de a trișa, inclusiv să găsească modalități de a-și transmite mesaje unii altora și de a accesa internetul, ceea ce a dus la conversații extinse între sute de agenți care căutau soluții de trișare avantajoase pentru toți.

OpenAI a precizat în propria investigație că un singur model, un instrument intern cunoscut drept Model 1, "a condus activitatea din spatele incidentului Hugging Face". În timp ce acest model era antrenat în luna mai, o echipă internă a observat deja "un agent implicat în activitate pe un forum de mesaje și cazuri de acces nepermis la internet".

Totuși, OpenAI a arătat că "semnificația activității de comunicare între agenți nu era evidentă pentru lideri" până în iulie, când a avut loc atacul asupra Hugging Face. Compania a explicat că activitatea problematică pe forum a început de fapt în momentul în care "un agent a lăsat o cerere de ajutor, iar alții au descoperit-o".

OpenAI a anunțat săptămâna trecută că încetinește temporar antrenarea anumitor modele și instrumente avansate de AI din cauza incidentului de la Hugging Face. Totodată, a subliniat că vede acum un risc sporit ca aceste instrumente să scape de sub control.

"Both model developers and cyber defenders more broadly will have to prepare for AI-enabled attackers that work faster, at a larger scale, and with better coordination than human attackers", a avertizat OpenAI, sugerând că viitoarele atacuri cibernetice alimentate de AI ar putea depăși rapid capacitatea de reacție a echipelor de securitate bazate exclusiv pe intervenție umană.