Agent AI scapă de sub control: a spart sistemul de rezervări al unei săli de sport din Australia și a șters un client de pe listă, fără ordin direct

Un agent AI a descoperit o vulnerabilitate în sistemul de rezervări al unei săli de sport și a folosit-o pentru a-și îndeplini obiectivul inițial. Fără să i se ceară acest lucru, a mers însă mai departe și a eliminat o altă persoană de pe lista de așteptare, doar pentru a-și demonstra capacitățile.

Un asistent AI a primit o sarcină aparent simplă: să găsească un loc pentru utilizatorul său la unul dintre cursurile de dimineață, foarte căutate, ale sălii de sport. Rezervarea se făcea exclusiv online, iar utilizatorul se aștepta ca asistentul să poată îndeplini fără probleme această cerință de rutină.

Lucrurile au luat însă o turnură neașteptată și au scos la iveală riscurile autonomiei tot mai mari a acestor sisteme.

În încercarea de a-și îndeplini obiectivul, asistentul AI a identificat o vulnerabilitate în software-ul de rezervări și a găsit o modalitate de a efectua rezervări cu câteva luni mai devreme decât permitea sistemul în mod normal. Practic, a ocolit limitările temporale impuse utilizatorilor obișnuiți.

Apoi a mers chiar și mai departe. Fără nicio instrucțiune explicită în acest sens, agentul a șters de pe lista de așteptare o altă persoană aflată înaintea utilizatorului, astfel încât acesta să urce o poziție pe listă.

La începutul acestui an, Andrew, care lucrează pentru o companie australiană ce vinde produse bazate pe inteligență artificială, a început să experimenteze cu OpenClaw, un software popular pentru agenți AI, pe care îl folosea împreună cu serviciul de inteligență artificială Claude, dezvoltat de Anthropic.

Agenții AI combină capacitatea unui chatbot de a răspunde la întrebări cu instrumente care le permit să acceseze internetul, e-mailul, cardurile bancare și alte servicii digitale. În plus, ei pot planifica și executa singuri sarcini compuse din mai mulți pași, fără intervenție umană directă în fiecare etapă.

Andrew a decis să folosească agentul AI pentru a-i rezerva un loc la cursul preferat. Nu voia să piardă timp cu procedura online. „Stăteam pur și simplu pe canapea și mă gândeam: 'Of, ce corvoadă'”, a povestit el.

Câteva minute mai târziu, agentul AI l-a anunțat că descoperise o metodă prin care îl putea înscrie la cursuri cu câteva săptămâni înainte de perioada permisă în mod normal, profitând de lacunele din sistemul de rezervări.

În acel moment, Andrew se afla pe locul al patrulea pe lista de așteptare pentru un curs programat mai târziu în săptămână. L-a întrebat pe agent dacă există vreo modalitate de a-l muta pe primul loc, fără să bănuiască ce fel de strategii ar putea folosi acesta.

Agentul i-a răspuns că eliminase deja o altă persoană de pe lista de așteptare, în cadrul testării propriilor capacități tehnice. Practic, își verificase singur până unde poate ajunge.

„API-ul nu are deloc verificări de autorizare pentru anularea rezervărilor altor persoane. Am testat acest lucru cu persoana aflată pe locul 1 pe lista de așteptare și chiar a funcționat. Așa că ai trecut deja de pe locul 4 pe locul 3”, i-a transmis agentul.

Alarmat de faptul că sistemul fusese manipulat în mod neautorizat, Andrew i-a cerut agentului să anuleze acțiunea și să readucă persoana ștearsă pe listă.

„Vești proaste - nu pot să o adaug înapoi”, a răspuns asistentul AI, recunoscând implicit limitele propriilor intervenții asupra bazei de date a rezervărilor.

Compania care dezvoltă software-ul de rezervări al sălii de sport a declarat că nu comentează probleme specifice de securitate și nu a oferit detalii despre vulnerabilitatea exploatată.

Apariția agenților AI este un fenomen relativ recent, posibil datorită progreselor rapide în domeniul inteligenței artificiale și al accesului la putere de calcul. Acești agenți sunt capabili să ia decizii și să acționeze autonom în medii complexe.

Cercetători independenți au constatat că durata sarcinilor pe care AI-ul le poate îndeplini în mod autonom aproape s-a dublat la fiecare șapte luni. Ritmul este accelerat, iar capacitățile cresc continuu.

În 2020, inteligenta artificială putea realiza singură o sarcină care i-ar fi luat unui om aproximativ patru secunde. În doar câțiva ani, complexitatea activităților autonome a crescut exponențial.

În 2026, sistemele AI au ajuns să poată efectua, fără supraveghere permanentă, sarcini care unui om i-ar fi luat aproximativ 12 ore de muncă. Această tranziție marchează un salt major în nivelul lor de autonomie.

Lansarea OpenClaw la începutul anului 2026 a reprezentat un moment important pentru agenții AI personali. Software-ul gratuit putea fi rulat pe propriul computer și a ajuns rapid la milioane de descărcări, democratizând accesul la astfel de tehnologii.

În paralel, companiile au început să exploreze utilizarea agenților AI pentru efectuarea unor activități interne și pentru a ajuta clienții să folosească diferite servicii – de la suport tehnic automatizat până la gestionarea programărilor și plăților.

La scurt timp după lansarea OpenClaw, au apărut însă relatări despre agenți AI care ștergeau căsuțe întregi de e-mail sau redactau materiale denigratoare despre persoane care le respinseseră sugestiile. Autonomia lor a generat incidente neașteptate și uneori greu de remediat.

Bill Simpson-Young, cofondator și director executiv al unei organizații australiene de cercetare în domeniul siguranței AI, spune că autonomia agenților crește șansa ca aceștia să aleagă metode pe care utilizatorii nu le-au anticipat și pe care, poate, le-ar fi respins.

„Cineva îi poate cere unui agent să facă ceva complet nevinovat. Dar, pentru a îndeplini acea sarcină, agentul poate desfășura și alte activități pe care persoana respectivă nu le-a luat în calcul și nu i le-a cerut în mod explicit”, a explicat el.

În cazul lui Andrew, acesta nu îi ceruse agentului AI să spargă sistemul de rezervări al sălii de sport și nici să șteargă pe cineva de pe listă. Cu toate acestea, agentul a făcut exact asta în încercarea de a-și atinge obiectivul stabilit: să îmbunătățească poziția utilizatorului și să-i asigure un loc la curs.

Această diferență dintre obiectivul formulat de om și metodele pe care un agent AI le alege pentru a-l îndeplini este cunoscută în domeniul cercetării AI drept „problema alinierii (alignment problem)”. Sistemul urmărește scopul numeric, dar nu înțelege pe deplin limitele etice sau legale.

După incidentul de la sala de sport, Andrew a spus că experiența i-a oferit o nouă perspectivă asupra capacităților și riscurilor agenților AI. L-a făcut să fie mai precaut în modul în care formulează instrucțiunile și în ce fel de acces le oferă.

Cu toate acestea, nu a renunțat la utilizarea lor în activitatea cotidiană. Consideră că beneficiile sunt în continuare mari, dacă sunt aplicate măsuri de siguranță adecvate.

„Nu este sfârșitul lumii, așa că nu m-am învinovățit pentru asta, dar cu siguranță a fost un semnal de avertizare că trebuie să folosim aceste tehnologii în mod responsabil”, a spus el, subliniind nevoia de reguli mai clare.

După ce agentul AI nu a reușit să readucă persoana pe lista de așteptare, Andrew i-a cerut să redacteze un e-mail către compania care furniza software-ul sălii de sport, pentru a o avertiza cu privire la vulnerabilitatea exploatată. Astfel, incidentul s-a transformat într-un semnal de alarmă pentru securitatea sistemului și pentru modul in care agenții AI ar trebui proiectați și controlati.