De la scandalul Cambridge Analytica la „politică sub formă de cod”: insiderul Facebook care construiește noua generație de moderare a conținutului în era AI

Când Brett Levenson a plecat de la Apple în 2019 pentru a conduce departamentul de integritate a afacerilor la Facebook, rețeaua socială se afla încă în plin scandal Cambridge Analytica. La acel moment, el a crezut că poate rezolva problema de moderare a conținutului de pe Facebook doar cu tehnologie mai bună.

A descoperit rapid că problema era mult mai profundă decât tehnologia. Reviewerii umani erau obligați să memoreze un document de politici de 40 de pagini, tradus automat în limba lor, a povestit el. Aveau apoi aproximativ 30 de secunde pentru fiecare conținut semnalat, pentru a decide nu doar dacă acel conținut încălca regulile, ci și ce măsură trebuia aplicată: blocarea postării, banarea utilizatorului, limitarea distribuției. Aceste decizii foarte rapide erau doar „puțin mai bune decât 50% corecte”, potrivit lui Levenson.

„Era aproape ca și cum ai arunca o monedă în aer, dacă reviewerii umani reușeau de fapt să aplice corect politicile, și asta la multe zile după ce prejudiciul avusese deja loc”, a declarat Levenson.

Un asemenea mod de lucru, întârziat și reactiv, nu mai este sustenabil într-o lume cu actori adversariali agili și bine finanțați. Ascensiunea chatbot-urilor bazate pe inteligență artificială a agravat problema. Eșecurile în moderarea conținutului au dus la o serie de incidente de mare vizibilitate, cum ar fi chatbot-uri care oferă adolescenților îndrumări legate de autovătămare sau imagini generate de AI care reușesc să ocolească filtrele de siguranță.

Frustrarea lui Levenson a dus la ideea de „politică sub formă de cod” – o metodă de a transforma documentele statice de politici în logică executabilă și actualizabilă, strâns cuplată cu mecanismele de aplicare. Din acest insight a apărut compania Moonbounce, care a anunțat că a atras o finanțare de 12 milioane de dolari. Runda a fost co-condusă de fondurile de investiții Amplify Partners și StepStone Group.

Moonbounce colaborează cu companii pentru a oferi un strat suplimentar de siguranță oriunde este generat conținut, fie de un utilizator, fie de un sistem AI. Firma și-a antrenat propriul model lingvistic de mari dimensiuni pentru a analiza documentele de politici ale clienților, a evalua conținutul în timp real, a furniza un răspuns în maximum 300 de milisecunde și a lua o măsură concretă. În funcție de preferințele clientului, această măsură poate însemna încetinirea distribuției până la o verificare umană ulterioară sau blocarea imediată a conținutului cu risc ridicat.

În prezent, Moonbounce deservește trei verticale principale: platforme cu conținut generat de utilizatori, cum sunt aplicațiile de dating; companii de AI care construiesc personaje sau „însoțitori” virtuali; și generatori de imagini bazate pe inteligență artificială.

Potrivit lui Levenson, Moonbounce gestionează peste 40 de milioane de evaluări pe zi și deservește mai mult de 100 de milioane de utilizatori activi zilnic pe platformă. Printre clienți se numără startup-ul de însoțitori AI Channel AI, compania de generare de imagini și clipuri video Civitai și platformele de roleplay cu personaje Dippy AI și Moescape.

„Siguranța poate fi, de fapt, un avantaj de produs”, a spus Levenson. „Nu a fost niciodată, pentru că întotdeauna a fost ceva ce se întâmplă mai târziu, nu un element pe care îl poți integra direct în produsul tău. Iar noi vedem că clienții noștri găsesc moduri foarte interesante și inovatoare de a folosi tehnologia noastră pentru ca siguranța să devină un diferențiator și o parte din povestea produsului lor.”

Un responsabil pentru trust și safety al unei aplicații de dating a explicat recent cum platforma folosește astfel de servicii bazate pe LLM pentru a obține o îmbunătățire de 10 ori a acurateței detecțiilor.

„Moderarea conținutului a fost mereu o problemă care a afectat marile platforme online, dar acum, cu LLM-uri în centrul fiecărei aplicații, această provocare este și mai descurajantă”, a declarat, într-un comunicat, Lenny Pruss, partener general la Amplify Partners. „Am investit în Moonbounce pentru că ne imaginăm o lume în care mecanismele obiective, în timp real, devin coloana vertebrală care permite funcționarea fiecărei aplicații mediate de AI.”

Companiile din domeniul inteligenței artificiale se confruntă cu presiuni juridice și de imagine tot mai mari, după ce chatbot-uri au fost acuzate că împing adolescenți și utilizatori vulnerabili spre suicid, iar generatori de imagini, precum Grok al xAI, au fost folosiți pentru a crea imagini nud fără consimțământ. Este tot mai clar că mecanismele interne de siguranță eșuează și problema devine una de răspundere legală. Levenson spune că firmele de AI caută din ce în ce mai des soluții externe pentru a-și consolida infrastructura de siguranță.

„Noi suntem o terță parte așezată între utilizator și chatbot, astfel încât sistemul nostru nu este inundat de context în același fel ca discuția propriu-zisă”, a spus Levenson. „Chatbot-ul în sine trebuie să își amintească, potențial, zeci de mii de tokeni care au venit înainte… Noi ne preocupăm exclusiv de aplicarea regulilor în timp real.”

Levenson conduce compania, care are 12 angajați, împreună cu fostul său coleg de la Apple, Ash Bhardwaj, ce a construit anterior infrastructuri cloud și de AI la scară largă pentru principalele servicii ale producătorului de iPhone. Următoarea lor prioritate este o capabilitate numită „steering iterativ”, dezvoltată ca răspuns la cazuri precum sinuciderea din 2024 a unui băiat de 14 ani din Florida, care devenise obsedat de un chatbot Character AI. În locul unui refuz brutal atunci când apar subiecte dăunătoare, sistemul ar intercepta conversația și ar redirecționa-o, modificând prompturile în timp real pentru a împinge chatbot-ul către un răspuns mai activ și mai de sprijin.

„Sperăm să putem adăuga în setul nostru de acțiuni capacitatea de a ghida chatbot-ul într-o direcție mai bună, practic să preluăm promptul utilizatorului și să-l modificăm pentru a forța chatbot-ul să fie nu doar un ascultător empatic, ci un ascultător util în astfel de situații”, a explicat Levenson.

Întrebat dacă strategia sa de exit ar putea presupune o achiziție din partea unei companii precum Meta, care ar închide cercul în privința muncii sale pe moderarea conținutului, Levenson a recunoscut că Moonbounce s-ar integra foarte bine în infrastructura fostului său angajator. În același timp este conștient de datoriile sale fiduciare ca CEO.

„Investitorii mei m-ar omorî pentru că spun asta, dar m-aș teme să văd pe cineva cumpărându-ne și apoi restricționând tehnologia”, a spus el. „De tipul: «Bine, acum este a noastră și nimeni altcineva nu mai poate beneficia de ea.»”