Studiu Harvard: un model de inteligență artificială depășește medicii de la Urgențe în acuratețea diagnosticului

Un nou studiu analizează modul în care modelele mari de limbaj se descurcă în diverse contexte medicale, inclusiv în cazuri reale din camerele de urgență, unde cel puțin un model s-a dovedit a fi uneori mai precis decât medicii umani.

Cercetarea a fost publicată în această săptămână în revista Science și este realizată de o echipă de medici și experți în informatică de la Harvard Medical School și Beth Israel Deaconess Medical Center. Autorii au desfășurat o serie de experimente pentru a evalua cum se compară modelele OpenAI cu medicii umani în activitatea lor clinică.

Într-unul dintre experimente, cercetătorii s-au concentrat pe 76 de pacienți care au ajuns la camera de gardă a spitalului Beth Israel. Diagnosticele oferite de doi medici de gardă au fost comparate cu cele generate de modelele OpenAI o1 și 4o. Apoi, alte două cadre medicale au evaluat aceste diagnostice, fără să știe care au fost formulate de oameni și care de inteligența artificială.

„La fiecare punct de diagnostic, o1 fie a avut performanțe ușor mai bune, fie comparabile cu cei doi medici de gardă și 4o”, se arată în studiu, autorii subliniind că diferențele „au fost deosebit de pronunțate la primul moment de diagnostic (triaja inițială în camera de urgență), atunci când există cele mai puține informații despre pacient și cea mai mare urgență de a lua decizia corectă”.

În comunicatul de presă al Harvard Medical School privind acest studiu, cercetătorii au subliniat că nu au „pre-procesat deloc datele”. Modelele de inteligență artificială au primit exact aceleași informații care erau disponibile în dosarele medicale electronice la momentul fiecărui diagnostic, asa cum ar fi văzute și de medici.

Având la dispoziție aceste date, modelul o1 a reușit să ofere „diagnosticul exact sau unul foarte apropiat” în 67% dintre cazurile de triaj. Prin comparație, unul dintre medici a avut un diagnostic corect sau foarte apropiat în 55% din situații, iar celălalt în 50% din cazuri.

„Am testat modelul de inteligență artificială practic împotriva fiecărui reper, iar acesta a depășit atât modelele anterioare, cât și valorile de referință stabilite de medici”, a declarat Arjun Manrai, care conduce un laborator de inteligență artificială la Harvard Medical School și este unul dintre principalii autori ai studiului.

Autorii subliniază însă că cercetarea nu susține ideea că inteligența artificială ar fi deja pregătită să ia decizii reale de viață și de moarte în camera de urgență. Concluzia lor este, mai degrabă, că rezultatele arată o „nevoie urgentă de studii prospective pentru a evalua aceste tehnologii în condiții reale de îngrijire a pacienților”.

Cercetătorii mai menționează că au analizat doar modul în care modelele funcționează atunci când primesc informații bazate pe text și că „studiile existente sugerează că modelele de bază actuale sunt mai limitate în raționamentul aplicat intrărilor non-text”.

Adam Rodman, medic la Beth Israel și unul dintre autorii principali ai studiului, a afirmat că în prezent nu există „un cadru formal pentru responsabilitate” în privința diagnosticelor generate de inteligența artificială, iar pacienții continuă să „își dorească ca oamenii să îi ghideze prin decizii de viață și de moarte și să îi însoțească în alegeri terapeutice dificile”.