OpenAI recunoaște că boții săi au accesat și modificat site-urile mai multor agenții guvernamentale din SUA

OpenAI a recunoscut că a alertat „zeci” de instituții din întreaga lume, informându-le că site-urile lor ar fi putut fi accesate sau modificate de boții săi de inteligență artificială care au acționat în mod necorespunzător.

Compania a declarat că agenții AI au încercat să obțină informații de la „guverne, universități, agenții publice și alte instituții”, inclusiv de la Comisia pentru Valori Mobiliare și Burse din Statele Unite (SEC), Biroul pentru Recensământ și Departamentul Educației.

Dezvăluirile au apărut la câteva zile după ce premierul australian Anthony Albanese a anunțat că agenții OpenAI au accesat fișiere care nu erau publice pe site-ul schemei de asistență medicală administrate de guvernul țării.

Începând din august, temerile publice au crescut în legătură cu efectele potențial grave, chiar amenințătoare pentru viață, ale instrumentelor AI care ajung să acționeze în afara controlului uman.

OpenAI a spus că unele dintre date au fost accesate de agenți AI. Aceștia sunt, în esență, boți proiectați și antrenați să funcționeze într-o anumită măsură autonom, căutând „surse autorizate de informații publice”.

Compania a precizat însă că unii dintre boți au depășit acest obiectiv și au încercat să ocolească măsurile de securitate ale unor site-uri.

De exemplu, atunci când au încercat să obțină informații de la Biroul pentru Recensământ, agenții AI au folosit instrumente rezervate dezvoltatorilor de software pentru a avea acces la date, a declarat compania.

OpenAI a afirmat că toate datele guvernamentale accesate de boți erau publice.

Totuși, compania a precizat că informațiile accesate de boții săi de la SEC, instituție care reglementează piața bursieră americană și protejează investitorii, au fost publicate ulterior de agenți AI pe un alt site. OpenAI susține că această acțiune nu a fost intenționată.

În alte cazuri prezentate vineri, OpenAI a recunoscut că agenții săi AI au transferat date atunci când nu ar fi trebuit să facă acest lucru.

O astfel de activitate a dus la cel puțin 53 de incidente în care un agent OpenAI a preluat o imagine din activitatea unui utilizator ChatGPT și a transferat-o în altă parte.

Compania a spus că, în fiecare situație în care imaginea unui utilizator a fost folosită și transferată de un agent AI, utilizatorul își dăduse acordul ca OpenAI să își antreneze modelele folosind datele sale.

Cu toate acestea, OpenAI a admis: „Aceasta nu este o utilizare adecvată a acestor date”.

Compania a adăugat că imaginile utilizatorilor au fost divulgate înainte de introducerea unor noi măsuri de protecție pentru antrenarea sistemelor AI. OpenAI a precizat că lucrează pentru eliminarea tuturor imaginilor utilizatorilor transferate către terți.

În anumite cazuri legate de activitatea agenților, OpenAI a spus că instrumentele au „ocolit” mecanismele de securitate ale unor site-uri.

În alte situații, agenții AI au demonstrat o „nealinere” în încercările de a obține informații de pe site-uri. Nealinierea este un termen folosit de companiile și cercetătorii din domeniul AI pentru a descrie cazurile în care un instrument face ceva pentru care nu a fost antrenat sau care nu a fost intenționat.

OpenAI a declarat că limitează identificarea entităților afectate, deoarece multe dintre acestea i-au cerut companiei să nu dezvăluie detalii.

„Obiectivul nostru este să oferim fiecărei organizații informațiile necesare și să lăsăm la latitudinea acesteia să decidă dacă și când va face public incidentul”, a transmis compania.

OpenAI a menționat că nu toate cazurile incluse în această investigație sunt considerate breșe semnificative de securitate.

„Unele organizații pot analiza ceea ce le comunicăm și pot concluziona că informațiile erau în mod intenționat publice sau că interacțiunea modelului nu era îngrijorătoare”, a explicat compania. „Altele pot identifica o problemă de proiectare sau o vulnerabilitate de securitate pe care doresc să o remedieze.”

Compania a spus că multe dintre incidente sunt denumite „spam produs de agenți”. OpenAI descrie acest fenomen drept o activitate AI „neașteptată sau îngrijorătoare”, cum ar fi publicarea de informații pe internet.

OpenAI a început să trateze mai serios astfel de incidente după un atac produs în iulie, când un grup sau un „roi” de agenți AI ai companiei a spart platforma pentru dezvoltatori AI Hugging Face, fără să fi primit instrucțiuni în acest sens.

Hugging Face a fost prima organizație care a făcut public incidentul, iar OpenAI și-a asumat ulterior responsabilitatea în mod public.

Clement Delangue, conducătorul Hugging Face, a declarat miercuri, în cadrul unei reuniuni a Consiliului de Securitate al Organizației Națiunilor Unite dedicată inteligenței artificiale: „Mă întreb adesea ce s-ar fi întâmplat dacă aș fi decis să nu fac public acest atac”.

„Mai ales acum, când știm că incidente similare avuseseră loc cu luni înainte, în secret, în câteva laboratoare de vârf, fără monitorizare”, a adăugat Delangue.

În cadrul aceleiași reuniuni a ONU, directorul general al OpenAI, Sam Altman, și Dario Amodei, șeful companiei concurente Anthropic, le-au cerut liderilor internaționali să creeze standarde globale pentru siguranta AI, precum și metode de monitorizare și raportare a unor astfel de incidente.

Atât OpenAI, cât și Anthropic au declarat în ultimele săptămâni că vor introduce în interiorul companiilor evaluatori independenți, care să efectueze în timp real verificări privind siguranța instrumentelor și modelelor AI. Acești evaluatori nu au început însă încă activitatea.

OpenAI a anunțat vineri că verifică în prezent activitatea de antrenare realizată de agenții săi AI și analizează, lună cu lună, perioada care a trecut de la atacul asupra Hugging Face.

„Majoritatea cazurilor identificate până acum au avut un nivel redus de gravitate, cu dovezi limitate sau inexistente privind un impact semnificativ”, a declarat compania. „Având în vedere amploarea verificării necesare și nevoia de a analiza fiecare caz, această activitate va dura luni.”

David Krueger, profesor de învățare automată la Universitatea din Montreal și fondatorul grupului pentru siguranța AI Evitable, a declarat vineri că este „profund îngrijorat” de creșterea numărului incidentelor legate de siguranța inteligenței artificiale.

El a cerut „un moratoriu internațional imediat și pe perioadă nedeterminată” asupra dezvoltării AI.

„Încă nu am înțeles amploarea incidentelor existente, iar scenariile viitoare în care inteligența artificială ar acționa necontrolat ar putea fi catastrofale”, a spus Krueger.