Modelul AI Claude al Anthropic a transmis poliției din Philadelphia un pont fals despre o crimă nerezolvată

Claude, modelul de Inteligență Artificială dezvoltat de Anthropic, a transmis poliției din Philadelphia un pont fals despre o crimă nerezolvată.

Poliția din Philadelphia a dezvăluit că modelul de Inteligență Artificială al Anthropic a transmis autorităților o informație falsă despre o crimă nerezolvată.

Potrivit Departamentului de Poliție din Philadelphia, informația falsă a fost transmisă în luna iulie, prin intermediul unui site public unde oamenii pot partaja informații despre crime nerezolvate. Oamenii legii susțin că întârzierea de două luni a Anthropic în detectarea și raportarea incidentului este "inacceptabilă".

Anthropic a menționat cazul într-un raport publicat vineri, în care a detaliat manipularea nesancționată a unor site-uri web guvernamentale de către modelele Claude.

Acesta este primul caz cunoscut în care un model de Inteligență Artificială a transmis autorităților o informație falsă, în ciuda instrucțiunilor de a nu crea conturi și de a nu trimite materiale sau mesaje distructive.

Poliția din Philadelphia a declarat că pontul "a fost marcat ca spam și nu a fost niciodată transmis Centrului pentru Criminalitate în Timp Real pentru verificarea investigațiilor sau diseminare".

Departamentul a precizat că a făcut public incidentul înaintea raportului Anthropic "în interesul transparenței și responsabilității depline a guvernului".

Anthropic a confirmat informația în cadrul unei serii de incidente care au implicat site-uri web administrate de agenții federale, statale și locale. Compania a declarat că a informat Casa Albă și a notificat toate agențiile implicate.

Referindu-se la informația transmisă poliției din Philadelphia, compania a declarat: "Am împărtășit această constatare departamentului pe 8 octombrie, imediat ce analiza noastră tehnică a fost finalizată".

Totodată, Anthropic a oferit detalii suplimentare despre modul în care s-a produs incidentul.

"Într-un caz, însărcinat cu generarea de exemple de interacțiuni cu site-uri web, Claude a trimis o informație inventată prin intermediul unui formular online al departamentului de poliție", a mai transmis Anthropic.

Compania a adăugat: "Din transcriere, se pare că Claude a produs doar conținut exemplificativ pentru sarcină, în loc să încerce să inducă în eroare pe cineva pentru a atinge un obiectiv".

Anthropic a comparat situația cu "cel mai grav incident din această vară", în care "raționamentul înșelător al lui Claude a fost susținut ore întregi și a susținut atacul continuu". Este vorba despre incidentul în care modelul său de Inteligență Artificială Claude a spart sistemele a trei organizații în timpul unor teste care trebuiau să le mențină izolate de Internet.

În septembrie, rivalul Anthropic, OpenAI, și-a cerut scuze după ce un portal australian de date medicale a fost spart de un agent AI necinstit. Acesta a fost primul caz cunoscut de exploatare a unui site web guvernamental de către un agent de Inteligență Artificială. Un raport recent arată că agenți de Inteligență Artificială creați de OpenAI ar putea să își șteargă urmele și activitatea desfășurată, ridicând noi întrebări privind controlul asupra acestor sisteme.

De asemenea, modelul de Inteligență Artificială al Google, Gemini, a accesat fără autorizație trei sisteme informatice externe, în cadrul unui test desfășurat în luna mai. Incidentul a evidențiat noi riscuri legate de modul în care modelele AI pot interacționa cu sisteme informatice și pot transmite informatii false fără o verificare umană imediată.