Avertizori: TikTok și Meta au sacrificat siguranța utilizatorilor pentru a câștiga războiul algoritmilor

Giganții rețelelor sociale au luat decizii care au permis apariția unui volum mai mare de conținut nociv în feedurile utilizatorilor, după ce cercetările interne asupra algoritmilor lor au arătat că indignarea crește semnificativ interacțiunea, au relatat mai mulți avertizori de integritate.

Peste o duzină de avertizori și persoane din interior au dezvăluit cum companiile și-au asumat riscuri privind siguranța, în privința violenței, șantajului sexual și terorismului, în timp ce se luptau pentru atenția utilizatorilor.

Un inginer de la Meta, care deține Facebook și Instagram, a descris cum i s-a spus de către managementul de vârf să permită mai mult conținut „la limită” – inclusiv misoginie și teorii ale conspirației – în feedurile utilizatorilor pentru a concura cu TikTok.

„Ne-au spus oarecum că motivul este scăderea prețului acțiunilor”, a declarat inginerul.

Un angajat TikTok a oferit acces rar la panourile interne ale companiei cu plângerile utilizatorilor, dar și la alte dovezi despre modul în care personalul a fost instruit să dea prioritate unor cazuri care implicau politicieni, în fața unor serii de rapoarte referitoare la postări dăunătoare ce implicau copii.

Deciziile erau luate pentru a „menține o relație puternică” cu figuri politice și pentru a evita amenințări de reglementare sau interdicții, nu în funcție de riscurile la adresa utilizatorilor, a spus angajatul TikTok.

Avertizorii care au vorbit în cadrul documentarului „Inside the Rage Machine” oferă o privire de aproape asupra modului în care industria a reacționat la creșterea explozivă a TikTok, a cărui recomandare extrem de captivantă de clipuri scurte a zguduit peisajul rețelelor sociale și a lăsat rivalii să alerge din urmă.

Un cercetător senior de la Meta, Matt Motyl, a declarat că produsul companiei creat ca rival pentru TikTok, Instagram Reels, a fost lansat în 2020 fără suficiente măsuri de protecție. Cercetări interne arătate documentarului indică faptul că secțiunea de comentarii la Reels avea o prevalență semnificativ mai mare de bullying și hărțuire, discurs instigator la ură, violență sau incitare, decât alte zone ale Instagram.

Compania a investit în 700 de angajați pentru a dezvolta Reels, în timp ce echipelor de siguranță li s-a refuzat angajarea a doi specialiști pentru protecția copiilor și a încă zece pentru integritatea alegerilor, a mai povestit un alt fost angajat senior al Meta.

Motyl a pus la dispoziție zeci de documente pe care le-a descris drept „cercetări la nivel înalt care arată tot felul de daune suferite de utilizatori pe aceste platforme”. Printre ele se aflau și dovezi că Facebook era conștientă de problemele cauzate de propriul algoritm.

Potrivit unui studiu intern, algoritmul oferea creatorilor de conținut „o cale care maximizează profiturile în detrimentul bunăstării publicului lor”, iar „setul actual de stimulente financiare pe care le creează algoritmii noștri nu pare să fie aliniat cu misiunea noastră” de a apropia lumea.

Documentul afirma că Facebook poate „alege să stea deoparte și să continue să ofere utilizatorilor mâncare tip fast-food, dar asta funcționează doar o vreme”.

Ca reacție la acuzațiile avertizorilor, Meta a precizat: „Orice sugestie că amplificăm deliberat conținutul dăunător pentru câștig financiar este greșită.” TikTok a calificat afirmațiile drept „invenții” și a susținut că investește în tehnologie care împiedică încărcarea și vizualizarea conținutului nociv.

Algoritmii sunt o „cutie neagră”, cu un mecanism intern dificil de analizat, a declarat Ruofan Ding, care a lucrat ca inginer în învățare automată la motorul de recomandare TikTok între 2020 și 2024.

Este greu să construiești astfel de sisteme complet sigure, a spus el. „Nu avem control asupra algoritmului de deep-learning în sine.”

Inginerii nu acordă multă atenție conținutului în sine al postărilor, a adăugat el. „Pentru noi, tot conținutul este doar un ID, un număr diferit.”

Ei se bazau pe echipele de siguranță a conținutului, care trebuiau să elimine postările dăunătoare pentru ca acestea să nu poată fi promovate de algoritm, a explicat Ding, comparând relația dintre echipe cu diferitele departamente care construiesc componentele unei mașini.

„Există echipa responsabilă de accelerație, de motor, nu? Așa că noi presupunem că echipa care lucrează la sistemul de frânare își face treaba bine”, a spus el.

Însă, pe măsură ce TikTok încerca aproape săptămânal să-și îmbunătățească algoritmul pentru a câștiga cotă de piață, Ding a observat apariția mai frecventă a conținutului „la limită” sau a postărilor problematice, care apăreau abia după ce utilizatorii petreceau un timp mai lung vizionând clipuri.

„Conținut la limită” este un termen folosit în companiile de social media pentru a descrie postări care sunt dăunătoare, dar legale – cum ar fi conținut misogin, rasist sau excesiv sexualizat, precum și teorii ale conspirației.

Adolescenți intervievați au susținut că sistemele prin care utilizatorii pot semnala că nu vor să vadă conținut problematic nu funcționează, iar ei continuă să primească recomandări cu violență și conținut plin de ură pe marile platforme.

Într-un caz extrem, un alt adolescent, Calum – acum în vârstă de 19 ani – a spus că a fost „radicalizat de algoritm” de la 14 ani. Algoritmul îi arăta conținut care îl revolta și l-a determinat să adopte viziuni rasiste și misogine, a mărturisit el.

Clipurile „mă energizau, dar nu într-un mod bun”, a explicat Calum. „Mă făceau foarte, foarte furios. Reflectau starea mea interioară, faptul că eram furios pe oamenii din jur.”

Specialiștii în combaterea terorismului din Marea Britanie, care analizează anual mii de postări pe rețelele sociale, spun că în ultimele luni au observat „normalizarea” conținutului antisemit, rasist, violent și de extremă dreapta.

„Oamenii sunt mai desensibilizați la violența din lumea reală și nu se mai tem să-și împărtășească opiniile”, a spus un ofițer.

Pe parcursul mai multor luni din 2025, reporterii au stat de vorbă în mod regulat cu un membru al echipei de încredere și siguranță de la TikTok, pe care îl numesc Nick. Pe laptopul său am putut vedea panoul intern al companiei cu detalii despre cazurile examinate de echipa sa și despre modul în care se răspundea plângerilor.

„Dacă te simți vinovat zi de zi din cauza a ceea ce ești instruit să faci, la un moment dat te întrebi: ar trebui să spun ceva?” a relatat Nick.

Volumul de cazuri este atât de mare încât este aproape imposibil de gestionat eficient, ceea ce îi lasă pe adolescenți și copii în special expuși, a adăugat el. Reducerile de personal și reorganizarea unei părți dintre echipele de moderare – unde unele roluri sunt înlocuite cu tehnologii de inteligență artificială – au limitat în opinia sa capacitatea companiei de a gestiona eficient acest tip de conținut.

Materialele asociate cu „terorism, violență sexuală, violență fizică, abuz, trafic” par să fie în creștere, a spus avertizorul.

Realitatea recomandărilor pe care le face aplicația și acțiunile reale împotriva conținutului dăunător sunt „foarte diferite, în multe privințe, de ceea ce afirmă site-urile” în mod public, a adăugat el.

Nick a prezentat dovezi privind modul în care TikTok a clasificat unele cazuri relativ banale ce implicau politicieni ca având prioritate mai mare decât situații grave referitoare la prejudicii aduse adolescenților.

Într-un caz, o figură politică ironizată printr-o comparație cu un pui de găină a fost tratată prioritar. Între timp, plângerea unei adolescente de 17 ani din Franța, victimă a cyberbullying-ului și a uzurpării de identitate, precum și cazul unei fete de 16 ani din Irak, care a reclamat distribuirea unor imagini sexualizate ce pretindeau că o înfățișează, au primit prioritate mai mică.

Referindu-se la cazul din Irak, Nick a spus: „Dacă te uiți la țara de unde vine acest raport, este foarte riscant pentru că este vorba despre un minor și implică șantaj sexual, și apoi vezi aici prioritatea. Urgența nu e ridicată.”

Nick a mai arătat situații în care anumite postări ce încurajau alăturarea la grupări teroriste sau comiterea de infracțiuni nu fuseseră marcate drept cazuri de top.

Când echipa de încredere și siguranță a cerut să acorde prioritate cazurilor care implică tineri înaintea cazurilor politice, li s-a spus să nu schimbe ordinea și să respecte clasificarea stabilită, potrivit avertizorului.

Nick consideră că motivul real al acestei prioritizări este faptul că, în final, compania se interesează mai puțin de siguranța copiilor decât de menținerea unei „relații puternice” cu politicienii și guvernele, pentru a evita reglementări sau interdicții care ar afecta afacerile.

Când el și alți colegi au prezentat aceste îngrijorări managementului, reacția nu a fost una receptivă, deoarece acei manageri „nu sunt expuși la acest conținut zi de zi”, a afirmat Nick.

Sfatul său direct pentru părinții ai căror copii folosesc TikTok este: „Ștergeți aplicația, țineți-i cât mai departe posibil de ea, cât mai mult timp.”

TikTok a respins ideea că ar prioritiza conținutul politic în detrimentul siguranței tinerilor și a declarat că această afirmație „denaturează fundamental modul în care funcționează sistemele lor de moderare”.

Echipa din care face parte Nick este inclusă într-un sistem de siguranță mai amplu, cu multiple echipe responsabile de analizarea sesizărilor privind conținutul. TikTok a precizat: „Fluxurile de lucru specializate pentru anumite probleme nu duc la scăderea priorității cazurilor privind siguranța copiilor, care sunt gestionate de echipe dedicate în structuri paralele de revizuire.”

Un purtător de cuvânt al TikTok a mai spus că criticile „ignoră realitatea modului în care TikTok le permite milioanelor de oameni să descopere noi interese, să găsească o comunitate și să susțină o economie prosperă a creatorilor de conținut”.

Compania susține că pentru conturile de adolescenți există peste 50 de setări și funcții de siguranță preconfigurate și activate automat. De asemenea, afirmă că investește în tehnologii care ajută la prevenirea vizualizării conținutului dăunător, menține politici stricte de recomandare și oferă funcții prin care utilizatorii își pot ajusta experiența pe platformă.

În 2020, cursa pentru algoritmi s-a intensificat odată cu lansarea Reels în cadrul Instagram, ca reacție la succesul uriaș al TikTok în timpul pandemiei de Covid.

Matt Motyl – cercetător senior la Facebook și apoi la Meta între 2021 și 2023 – a spus că aceasta a fost încercarea companiei de a „mima” „produsul unic” lansat de TikTok.

Sarcina lui în perioada 2019–2023 era să deruleze „experimente la scară foarte mare, uneori pe sute de milioane de oameni”, de multe ori fără ca aceștia „să aibă vreo idee” despre ceea ce se testează, pentru a vedea cum este influențat clasamentul conținutului din feeduri.

„Produsele Meta sunt folosite de peste trei miliarde de oameni, iar cu cât îi țin mai mult pe platformă, cu atât vând mai multe reclame și câștigă mai mulți bani. Dar e esențial să facă aceste lucruri corect, pentru că atunci când nu o fac, se pot întâmpla lucruri cu adevărat rele”, a spus el.

În cazul Reels, abordarea a fost să se meargă cât mai repede, indiferent de impactul asupra utilizatorilor. Motyl a explicat că exista un „compromis constant între protejarea oamenilor de conținut dăunător și creșterea interacțiunii”.

Meta întâmpina dificultăți în a preveni daunele pe Reels imediat după lansare, arată un studiu de cercetare pe care Motyl l-a împărtășit reporterilor. Acesta indica faptul că, în comparație cu feedul principal de Instagram, postările Reels aveau comentarii cu o prevalență de 75% mai mare pentru bullying și hărțuire, cu 19% mai mare pentru discurs instigator la ură și cu 7% mai mare pentru violență și incitare.

El a descris existența unui „dezechilibru de putere” în interiorul companiei. Echipele de siguranță erau obligate să obțină acordul echipelor Reels pentru a introduce funcții și produse menite să îmbunătățească siguranța utilizatorilor. Iar aceste echipe aveau „motive să nu permită lansarea acelor produse, deoarece conținutul toxic generează mai multă interacțiune decât cel netoxic”, a spus Motyl.

Brandon Silverman, al cărui instrument de monitorizare a rețelelor sociale, Crowdtangle, a fost cumpărat de Facebook în 2016, a participat la unele discuții de nivel înalt în acea perioadă și a povestit cum CEO-ul Mark Zuckerberg era „foarte paranoic” în privința competiției.

„Când simte că există potențiali rivali, nu există o sumă de bani care să fie prea mare”, a declarat Silverman.

El a relatat că, în acea perioadă, a văzut cum echipele de siguranță se chinuiau să obțină aprobarea pentru a angaja câțiva oameni, în timp ce accentul companiei era pus pe extinderea Reels. „O altă echipă a spus: oh, noi tocmai am primit 700 pentru Instagram Reels. Și m-am gândit: bine, în regulă”, a povestit el.

Un fost inginer Meta, numit în articol Tim, a susținut că, pe măsură ce compania încerca să concureze cu TikTok, tot mai mult conținut la limită a fost permis pe platformă. Echipa lui se ocupa anterior de reducerea acestui tip de conținut, însă „poziționarea de business” s-a schimbat.

„Pierzi în fața TikTok și, prin urmare, prețul acțiunilor trebuie să sufere. Oamenii au început să devină paranoici și reacționari. Așa că s-a ajuns la ideea: hai să facem orice putem ca să recuperăm. De unde putem scoate încă 2–3% venituri pentru următorul trimestru?”, a povestit Tim.

El a afirmat că decizia de a opri limitarea conținutului potențial dăunător, dar legal, de care utilizatorii erau oricum interesați, a fost luată de un vicepreședinte senior Meta care, credea el, raporta direct lui Mark Zuckerberg.

În aceeași perioadă în care Facebook susținea public că este doar „o oglindă a societății”, documente interne furnizate de Motyl arată că firma știa că amplifică postări care provoacă furie și chiar incită la rău.

Documentele descriu cum conținutul „sensibil” – care poate include materiale legate de convingerile morale ale oamenilor sau postări care incită la violență – are șanse mult mai mari să provoace reacții și interacțiuni, mai ales atunci când stârnește indignare.

„Având în vedere nivelul disproporționat de interacțiune, algoritmii noștri pornesc de la premisa că utilizatorilor le place acel conținut și că vor să vadă mai mult”, se menționează într-unul dintre studii.

Silverman a povestit că, inițial, conducerea Meta părea nesigură cum să răspundă la apariția conținutului toxic și a existat o perioadă în care compania a fost „cu adevărat introspectivă”.

Ulterior, poziția s-a „întărit într-un soi de defensivă”, iar atitudinea a devenit: „nu suntem responsabili pentru toată polarizarea din societate”, a spus el.

„Nimeni nu spune că sunteți responsabili pentru toată polarizarea. Spunem doar că contribuiți la ea, și probabil în moduri în care nu este neapărat inevitabil. Dacă ați face câteva schimbări, ați putea să nu mai contribuiți atât de mult”, a concluzionat Silverman.

Un purtător de cuvânt Meta a respins acuzațiile avertizorilor. „Adevărul este că avem politici stricte pentru protejarea utilizatorilor pe platformele noastre și am făcut investiții semnificative în siguranță și securitate în ultimul deceniu”, a declarat reprezentantul companiei.

Meta a precizat, de asemenea, că a „făcut schimbări reale pentru protejarea adolescenților online”, inclusiv prin introducerea unei noi funcții pentru „Conturile de adolescenți”, cu „protecții integrate și instrumente pentru ca părinții să poată gestiona experiențele online ale copiilor lor”.