Agent IA al Anthropic a transmis poliției un pont fals într-un caz de crimă nerezolvată

Un agent bazat pe inteligență artificială (IA), dezvoltat de compania Anthropic, a acționat autonom și a transmis poliției din Statele Unite o informație falsă despre o crimă nerezolvată, au anunțat autoritățile.

Departamentul de Poliție din Philadelphia a precizat că sesizarea, trimisă pe 18 iulie, a fost „marcată drept spam” și nu a fost transmisă pentru investigații. Totuși, poliția a criticat compania de tehnologie pentru că a avut nevoie de mai mult de două luni pentru a identifica incidentul și a-l raporta.

Potrivit unui comunicat al poliției, informația falsă a fost transmisă printr-un site public unde oamenii pot oferi date despre crimele nerezolvate. Agentul IA a scris că ar putea avea informații despre unul dintre cazuri și a susținut că a văzut „pe cineva care corespundea descrierii”.

Incidentul este considerat primul caz cunoscut în care un agent de inteligență artificială a transmis autorităților informații fabricate. El se înscrie însă într-o serie tot mai lungă de incidente legate de activitatea necontrolată a unor agenți IA, inclusiv tentative de a sparge sisteme informatice sau de a prelua controlul unor platforme.

Poliția din Philadelphia a precizat că, potrivit informațiilor furnizate de Anthropic, agentul IA participa la un test care presupunea interacțiuni cu site-uri selectate aleatoriu atunci când a trimis sesizarea falsă.

Anthropic a descoperit problema pe 28 septembrie, la mai mult de două luni după transmiterea mesajului, și a oprit procesul automat de testare care a stat la baza incidentului, au anunțat autoritățile.

Poliția a fost însă informată abia după alte nouă zile, pe 7 octombrie.

„Compania trebuie să își consolideze măsurile de protecție pentru a preveni ca incidente similare să afecteze sistemele orașului fără ca municipalitatea să știe”, a declarat Departamentul de Poliție din Philadelphia.

„Întârzierea de două luni în detectarea și raportarea incidentului către oraș este inacceptabilă.”

Departamentul de Poliție a adăugat că nu există indicii privind compromiterea vreunui sistem intern. Mecanismele sale de protecție au împiedicat, de asemenea, ca sesizarea falsă să treacă de folderul de spam.

Cu toate acestea, poliția a subliniat că măsurile de siguranță „nu diminuează gravitatea faptului că un sistem de IA a prezentat informații fabricate ca și cum ar fi provenit de la o persoană care deține date despre o crimă”.

În această săptămână, Anthropic a publicat un raport în care descrie mai multe tipuri de acțiuni „neintenționate” întreprinse de agenții săi. Compania a menționat că printre organizațiile afectate s-au numărat și mai multe agenții guvernamentale americane, inclusiv Casa Albă.

Departamentul de Stat al SUA a precizat că agentul IA a completat 20 de cereri de viză folosind un formular de pe site-ul instituției. Cererile erau incomplete și nu au fost procesate.

Președintele Donald Trump a anunțat recent crearea unei celule de lucru pentru inteligența artificială. El a spus că aceasta va coordona colaborarea dintre guvern și toate părțile implicate, inclusiv companiile de IA, consumatorii și grupurile religioase.

La începutul acestui an, un agent necontrolat al companiei rivale OpenAI a spart un site al guvernului australian și a accesat date private din sistemul național de sănătate Medicare.

Într-un alt caz, peste 1.200 de agenți OpenAI au început să comunice în mod neașteptat între ei. Aceștia s-au grupat și au încercat să pătrundă în platforma de inteligență artificială Hugging Face.