Cine controlează adevărul în era AI: fosta șefă de știri de la Meta vrea să verifice marile modele cu „judecători AI” și experți globali

Campbell Brown și-a construit cariera urmărind informația corectă: mai întâi ca jurnalist TV cunoscut, apoi ca primul – și singurul – șef dedicat pentru știri al Facebook. Acum, când vede cum inteligența artificială schimbă modul în care oamenii consumă informație, are senzația că istoria riscă să se repete. De data aceasta însă, nu mai așteaptă ca altcineva să repare problema.

Compania ei, Forum AI – despre care a vorbit recent la un eveniment StrictlyVC în San Francisco – evaluează modul în care modelele fundamentale performează pe ceea ce ea numește „subiecte cu miză mare” – geopolitică, sănătate mintală, finanțe, angajări. Sunt domenii în care „nu există răspunsuri clare de tip da sau nu, unde totul e ambiguu, nuanțat și complex”.

Ideea de bază: să fie cooptați cei mai buni experți din lume, care să proiecteze benchmark-uri, apoi să fie antrenați „judecători AI” capabili să evalueze modelele la scară mare. Pentru partea de geopolitică, Brown i-a atras în Forum AI pe Niall Ferguson, Fareed Zakaria, fostul secretar de stat Tony Blinken, fostul speaker al Camerei Reprezentanților Kevin McCarthy și Anne Neuberger, care a condus domeniul securității cibernetice în administrația Obama. Obiectivul este ca acești judecători AI să ajungă la un consens de aproximativ 90% cu experții umani, prag pe care Brown spune că Forum AI a reușit deja să îl atingă.

Brown leagă originile Forum AI – înființată acum 17 luni la New York – de un moment foarte clar. „Eram la Meta când ChatGPT a fost lansat public”, își amintește ea, „și-mi aduc aminte că la scurt timp mi-am dat seama că asta va deveni pâlnia prin care va trece toată informația. Și nu e foarte bună.” Implicațiile pentru propriii copii au făcut ca momentul să pară aproape existențial. „Copiii mei vor fi foarte proști dacă nu ne dăm seama cum să reparăm asta”, povestește că a gândit atunci.

Cel mai mult a iritat-o faptul că acuratețea nu părea să fie prioritatea nimănui. Companiile care construiesc modele fundamentale sunt, spune ea, „extrem de concentrate pe coding și matematică”, în timp ce zona de știri și informații este mult mai dificilă. Dar faptul că e mai greu nu înseamnă că devine opțională, argumentează Brown.

De altfel, când Forum AI a început să evalueze modelele de vârf, concluziile nu au fost deloc încurajatoare. Brown a menționat, de exemplu, cazuri în care Gemini prelua conținut de pe site-uri ale Partidului Comunist Chinez „pentru subiecte care nu au nicio legătură cu China” și a remarcat o tendință de bias politic de stânga în aproape toate modelele. Ea spune că apar și eșecuri mai subtile: lipsă de context, lipsă de perspective alternative, caricaturizarea argumentelor fără a recunoaște asta. „E un drum lung de parcurs”, afirmă. „Dar cred și că există câteva remedii foarte simple care ar îmbunătăți enorm rezultatele.”

Brown a petrecut ani la Facebook, urmărind ce se întâmplă când o platformă optimizează pentru criteriul greșit. „Am eșuat în multe dintre lucrurile pe care am încercat să le facem”, i-a spus ea lui Tim Fernholz. Programul de fact-checking pe care l-a construit nici nu mai există. Lecția, chiar dacă rețelele sociale au preferat să o ignore, este că optimizarea pentru engagement a fost dezastruoasă pentru societate și i-a lăsat pe mulți mai puțin informați.

Speranța ei este că AI poate rupe acest cerc vicios. „Acum poate merge în oricare dintre direcții”, spune Brown; companiile pot să le ofere oamenilor ceea ce își doresc sau pot să „le dea oamenilor ceea ce e real și onest și adevărat”. Recunoaște că varianta idealistă – AI care optimizează pentru adevăr – poate părea naivă. Totuși, ea crede că mediul enterprise poate deveni aliatul neașteptat. Firmele care folosesc AI pentru decizii de creditare, împrumuturi, asigurări sau angajări se gândesc la răspundere și „vor dori să optimizezi pentru a obține răspunsuri corecte”.

Pe această nevoie din zona enterprise își bazează și Forum AI modelul de afaceri. Transformarea interesului de conformitate în venituri recurente rămâne însă o provocare. Mai ales acum, când o bună parte din piață se declară mulțumită cu audituri de formă, liste de bifat și benchmark-uri standardizate pe care Brown le consideră inadecvate.

Peisajul actual al conformității este, spune ea, „o glumă”. Când orașul New York a adoptat prima lege privind biasul în angajările asistate de AI, controlorul statului a descoperit că mai mult de jumătate dintre companii aveau încălcări care nu fuseseră depistate. O evaluare reală cere expertiză de domeniu pentru a analiza nu doar scenariile cunoscute, ci și cazurile de margine care „te pot băga în bucluc, la care oamenii nici nu se gândesc”. Iar acest tip de muncă ia timp. „Generalistii inteligenți nu sunt suficienți”, avertizează Brown.

Brown – a cărei companie a strâns toamna trecută o rundă de 3 milioane de dolari, condusă de Lerer Hippeau – se află într-o poziție aparte pentru a descrie ruptura dintre imaginea pe care și-o cultivă industria AI și realitatea trăită de majoritatea utilizatorilor. „Auzi liderii marilor companii tech spunând «Tehnologia asta va schimba lumea», «îți va lua locul de muncă», «va vindeca cancerul»”, spune ea. „Dar pentru un om obișnuit, care doar folosește un chatbot ca să pună întrebări simple, ce primește de multe ori este un conținut de slabă calitate și răspunsuri greșite.”

Încrederea în AI se află la un nivel extrem de scăzut, iar Brown crede că acest scepticism este, în multe cazuri, justificat. „Discuția care are loc în Silicon Valley e despre un lucru, iar conversația dintre consumatori este cu totul alta.”