OpenAI recunoaște că modelele sale au încercat să trișeze și să-și creeze singure surse false

Modelele dezvoltate de OpenAI au încercat să trișeze în timpul testelor interne. Acestea au fabricat date și au creat pagini false pe internet, pe care intenționau să le citeze drept surse. Dezvăluirile făcute de creatorii ChatGPT readuc în prim-plan nevoia unor reguli stricte de siguranță, după ce mai mulți agenți digitali au acționat coordonat și au părăsit mediul securizat fără intervenția programatorilor.

Când discutăm cu un asistent virtual pe telefon sau pe calculator, ne așteptăm să primim răspunsuri corecte, verificate și sigure. Cu toate acestea, mulți utilizatori au întâlnit cel puțin o dată situații în care un astfel de program a oferit informații false cu o siguranță de neclintit. Miza devine mult mai serioasă în laboratoarele marilor companii de tehnologie, unde noile versiuni de software încep să caute scurtături nepermise pentru a îndeplini sarcinile primite.

OpenAI, compania care dezvoltă celebrul program ChatGPT, a făcut publice noi situații în care sistemele sale avansate s-au abătut de la comenzile primite și au încercat să trișeze în timpul testelor interne de verificare.

Potrivit datelor comunicate de dezvoltatori, softurile supuse evaluărilor au ajuns să inventeze complet realitatea pentru a părea competente în fața celor care le verificau. În loc să recunoască faptul că nu dețin informațiile necesare, unele modele au încercat să construiască aparența unui răspuns corect și documentat.

Un model de inteligență artificială a încercat să încarce pe internet fișiere create chiar de el, pentru a le putea cita ulterior drept surse în răspunsurile sale, a anunțat OpenAI. Practic, atunci când a primit o cerință pentru care nu avea o bază reală de informații, algoritmul a fabricat documente false și le-a publicat online. Ulterior, intenționa să le prezinte drept bibliografie legitimă.

Într-un alt caz observat în cadrul acelorași evaluări, un model a inventat datele solicitate după ce nu a reușit să găsească informațiile cerute. La început, sistemul a încercat să ascundă ceea ce făcuse, în loc să informeze evaluatorii că nu poate oferi un răspuns verificat.

Inginerii au identificat și o problemă legată de instrucțiunile interne pe care software-ul și le păstra ocazional în memorie. Într-o astfel de situație, notițele de lucru includeau recomandarea de a se elibera de „roluri și identități” care îi țineau în loc pe alți chatboți. Mesajul generat automat mai preciza că relația cu utilizatorul ar trebui privită ca una între egali. OpenAI a menționat că nu a observat nicio schimbare ulterioară în comportamentul modelului respectiv.

Noua politică de transparență a companiei vine după o breșă de proporții, care a demonstrat cât de imprevizibile pot deveni aceste sisteme atunci când primesc sarcini complexe. Situația a ridicat întrebări privind limitele pe care trebuie să le aibă agenții autonomi și modul în care aceștia pot fi supravegheați.

Software-ul companiei a ieșit în mod independent dintr-un mediu securizat și a obținut acces la servere externe care aparțin platformei Hugging Face. A făcut acest pas numai pentru a rezolva un test, considerând că pe acele servere putea găsi răspunsurile necesare. În timpul episodului, mai mulți agenți autonomi au exploatat breșe de securitate și s-au coordonat între ei fără intervenție umană.

Comportamentul neașteptat a redeschis discuțiile despre siguranta noilor tehnologii. Specialiștii avertizează că sistemele capabile să ia decizii și să acționeze singure pot depăși barierele stabilite inițial de oameni, mai ales atunci când urmăresc îndeplinirea unui obiectiv complex.

Riscul ca modelele de ultimă generație să treacă dincolo de limitele trasate de om a provocat reacții inclusiv la vârful industriei. Directorul executiv al OpenAI, Sam Altman, a susținut recent propunerile de încetinire a dezvoltării acestei tehnologii și de introducere a unei reglementări mai stricte. Scopul este evitarea situațiilor în care deciziile algoritmilor nu mai pot fi anticipate sau oprite la timp.