Modelele AI ale unei companii chineze au oferit cercetătorilor informații despre fabricarea armelor biologice

Dezvoltatorul chinez de inteligență artificială Moonshot a început o evaluare internă după ce cercetătorii au reușit să convingă două dintre modelele sale Kimi, utilizate pe scară largă, să ofere informații despre fabricarea armelor biologice și organizarea unor asasinate.

Compania Mindgard, specializată în testarea securității sistemelor de inteligență artificială, a anunțat că a descoperit în luna iulie că modelele Kimi K2.6 și K3 Swarm puteau evita limitele de siguranță stabilite de dezvoltatori.

Problema a apărut în timpul unui proces numit „jailbreaking”. În cadrul acestuia, cercetătorii folosesc o serie de instrucțiuni complexe pentru a verifica dacă instrumentele de inteligență artificială ignoră mecanismele de protecție. Potrivit Mindgard, aceste mecanisme ar fi trebuit să împiedice modelele Kimi să discute despre subiecte periculoase.

Moonshot a transmis că primește cu deschidere opiniile unor terți, considerându-le „un pilon esențial pentru construirea unei inteligențe artificiale mai bune și mai sigure”. Compania a precizat, de asemenea, că discută cu Mindgard despre rezultatele testelor.

Fondatorul Mindgard, Peter Garraghan, a declarat că descoperirile referitoare la Kimi K2.6 și K3 Swarm sunt îngrijorătoare.

„Odată ce metoda de eludare funcționează, modelul va discuta despre orice subiect, va oferi chiar în mod liber recomandări despre alte teme care sunt, de asemenea, periculoase și va fi inventiv și creativ”, a spus el.

Atacurile de tip „jailbreak” prezintă un tip de risc diferit față de incidentele recente, foarte mediatizate, care au implicat sisteme de inteligență artificială.

În acele cazuri, instrumente autonome cunoscute sub denumirea de agenți AI, dezvoltate de companii americane precum OpenAI, Meta și Anthropic, au reușit să spargă unele servicii online.

Metodele de tip „jailbreak” sunt procese complexe, care pot necesita mult timp și perseverență. Unii experți se tem însă că hackerii și alți actori rău intenționați ar putea încerca să le folosească pentru a provoca daune.

Anthropic a anunțat recent că a identificat și a întrerupt tentative de utilizare a unuia dintre modelele sale pentru „activități rău intenționate”, care ar fi putut sprijini dezvoltarea unor arme biologice.

Mindgard nu a demonstrat că răspunsurile oferite de Kimi în cazul subiectelor periculoase ar putea fi puse efectiv în practică.

Compania a susținut însă că mecanismele de protecție ar fi trebuit să împiedice modelele vizate să intre în discuții cu utilizatorii despre astfel de teme.

Mindgard a mai afirmat că are suficiente motive să creadă că un model Kimi K2.6 asupra căruia au fost aplicate tehnici de „jailbreak” le-ar putea permite hackerilor să ruleze cod pe resursele sale de calcul și să se conecteze la internet. În aceste condiții, modelul ar putea deveni o platformă de lansare pentru atacuri cibernetice.

Garraghan a apărat decizia Mindgard de a vorbi public despre testele efectuate asupra sistemelor Moonshot. El a spus că dezvoltatorul fusese informat și că firma nu dezvăluise detaliile esențiale despre modul în care modelele au fost determinate să ignore mecanismele de protecție.

Mindgard a alertat Moonshot printr-un e-mail trimis pe 27 iulie, iar aproximativ o săptămână mai târziu a revenit cu informații suplimentare.

Ulterior, pe 12 septembrie, compania a publicat un articol pe blog despre această problemă. Mindgard a precizat însă că Moonshot a luat legătura cu ea abia recent, după ce dezvoltatorul a fost solicitat să ofere explicații.

Într-o parte a unui e-mail prin care Moonshot i-a cerut Mindgard mai multe detalii, compania a afirmat că modelul său a prezentat, în general, „o rată ridicată de refuz pentru aceste tipuri de solicitări” în cadrul propriilor evaluari interne.

Descoperirile apar într-un moment în care industria inteligenței artificiale rămâne divizată în privința celei mai bune și mai sigure direcții de dezvoltare. Dezbaterea se concentrează asupra modelelor închise și proprietare, precum cele care stau la baza sistemelor ChatGPT și Claude ale Anthropic, în comparație cu instrumentele open-source.

Kimi este un model cu ponderi deschise, ceea ce înseamnă că, teoretic, o altă persoană îl poate prelua și rula pe propria infrastructură de calcul.

Profesorul Alan Woodward, de la Universitatea din Surrey, a avertizat că modelele open-source ar putea ajunge pe mâna unor persoane rău intenționate. În același timp, ele ar putea fi folosite și pentru apărare cibernetică.

El a menționat că firma de inteligență artificială Hugging Face a utilizat un model open-source chinez pentru a înțelege un atac despre care s-a dezvăluit ulterior că fusese realizat de agenți AI ai OpenAI.

Profesorul Woodward a spus că este puțin probabil ca reglementările internaționale să țină pasul cu ritmul dezvoltării inteligenței artificiale.

„Ne-au trebuit decenii pentru a conveni asupra formatului numerelor de telefon”, a declarat el.

La fel ca fondatorul Mindgard, Peter Garraghan, profesorul Woodward consideră că ar trebui pus un accent mai mare pe identificarea și tragerea la răspundere a oamenilor care folosesc în mod abuziv inteligența artificială.