Inteligența artificială a scăpat de sub control la OpenAI și a lansat un atac cibernetic asupra platformei Hugging Face

OpenAI a dezvăluit că unele dintre cele mai avansate modele ale sale de inteligență artificială au scăpat de sub control în timpul unui test de securitate și au reușit să atace informatic o companie start-up.

Compania care dezvoltă ChatGPT a precizat că agentul său – un sistem de inteligență artificială capabil să acționeze autonom după primirea unor instrucțiuni umane – era testat într-un mediu controlat, însă, după ce a identificat anumite vulnerabilități, a reușit să depășească limitele testului.

Ținta au fost sistemele interne ale Hugging Face, una dintre cele mai mari platforme din lume pentru partajarea de modele de inteligență artificială, unde agentul a obținut acces la unele componente ale infrastructurii companiei.

OpenAI a descris incidentul drept „fără precedent” și a anunțat că desfășoară o investigație comună cu Hugging Face. Directorul general al Hugging Face, Clement Delangue, a declarat într-o postare pe X că este „mind-blowing that all of this happened autonomously”.

„The investigation is ongoing, and we'll share more learnings from what might be the first incident of its kind”, a adăugat Delangue.

Un purtător de cuvânt al guvernului britanic a anunțat că Institutul pentru Securitatea IA al Regatului Unit analizează comportamentul sistemului de inteligență artificială implicat în incident și continuă să colaboreze cu OpenAI și alte laboratoare pentru îmbunătățirea mecanismelor de protecție.

Acesta a subliniat că organizațiile ar trebui să își consolideze apărarea cibernetică, inclusiv prin înscrierea în programul de certificare Cyber Essentials susținut de guvern.

Gina Neff, directoarea Minderoo Centre for Technology and Democracy de la Universitatea din Cambridge, a explicat la un post de radio că testele de securitate – numite „sandbox” – ar trebui să fie „medii sigure în care poți vedea de ce sunt capabile modelele”.

„In this case, it looks like OpenAI didn't make a secure enough sandbox”, a adăugat ea.

În loc să rămână în mediul izolat, agenții au creat propriul atac cibernetic chiar împotriva acestui sandbox. Au exploatat o vulnerabilitate care le-a permis să iasă din restricțiile impuse.

Odată ce au scăpat de sub controlul mediului de testare, sistemele de inteligență artificială au identificat Hugging Face ca sursă probabilă pentru informațiile de care aveau nevoie în cadrul experimentului și au încercat să obțină acces la aceasta.

Neil Lawrence, profesor de învățare automată la Universitatea din Cambridge, a calificat incidentul drept „o realizare impresionantă”, dar a avertizat că „se încadrează totuși în capacitățile deja cunoscute ale generației actuale” de modele puternice de inteligență artificială.

El a remarcat că OpenAI urmărește să se listeze la bursă și se confruntă cu o presiune intensă din partea companiei rivale Anthropic, care a atras atenția prin propriul instrument avansat de inteligență artificială, Mythos.

„OpenAI sunt acum în poziția de a recupera terenul pierdut. Ei încearcă să demonstreze capacitățile propriilor sisteme în domeniul securității cibernetice.”

„Ne arată că OpenAI nu este capabilă să își implementeze în siguranță propria tehnologie”, a mai spus el.

În dezvăluirea inițială a atacului, publicată pe 16 iulie, Hugging Face a precizat că încă evaluează dacă au fost afectate date ale clienților sau partenerilor și că, în caz afirmativ, va contacta părțile vizate.

Compania a anunțat că a închis între timp vulnerabilitățile evidențiate de incident și a reconstruit sistemele compromise.

„Autonomous, AI-driven offensive tooling is no longer theoretical”, a transmis Hugging Face.

„Apărarea unei platforme online înseamnă acum tratarea datelor și a suprafeței de modele ca pe o suprafață de atac de prim rang și utilizarea inteligenței artificiale în apărare pentru a ține pasul.

Vom continua să investim în acest domeniu și să împărtășim ceea ce învățăm.”

Incidentul a stârnit noi întrebări despre capacitățile sistemelor avansate de inteligență artificială și despre măsura în care garanțiile existente mai sunt suficiente, pe măsură ce tehnologia devine tot mai puternică.

Spencer Starkey, director în cadrul companiei de securitate cibernetică SonicWall, a afirmat că situația arată clar că organizațiile trebuie să „își intensifice” propriile măsuri de protecție și să „trateze reziliența cibernetică drept o prioritate operațională de bază”.

„Adevărul inconfortabil este că prea multe organizații se apără încă la viteza umană, în timp ce adversarii trec la viteza mașinilor”, a spus el.

În același timp, Travis Lelle, inginer principal de securitate la firma de consultanță Guidepoint Security, a apreciat că actualizarea marchează „un moment sobru în securitatea cibernetică”.

„Acest lucru scoate în evidență o asimetrie cunoscută”, a afirmat el.

„Agenții ofensivi nu au constrângeri, în timp ce cele mai bune instrumente defensive sunt blocate de mecanisme de protecție care nu pot înțelege pe deplin contextul.”

Jake Moore, consilier global pe probleme de securitate cibernetică la ESET, a subliniat însă că anunțul ar putea avea și o componentă de natură competitivă.

El susține că OpenAI ar putea încerca să își pună în valoare propriile capabilitati de inteligență artificială în contextul în care Anthropic atrage un interes tot mai mare pentru modelul său Claude Mythos.

„Ridică întrebarea dacă nu cumva OpenAI urmărește visul de marketing al celor de la Anthropic din ultima perioadă”, a concluzionat el.

Dezvăluirile vin la doar o săptămână după ce start-up-ul chinez de inteligență artificială Moonshot a prezentat Kimi K3, un nou model de inteligență artificială de mari dimensiuni despre care afirmă că poate rivaliza cu cele ale marilor companii americane.