Studiu Harvard: un model de inteligență artificială depășește medicii de medicină internă la diagnosticarea de urgență în UPU

Un nou studiu analizează modul în care modelele lingvistice mari performează într-o varietate de contexte medicale, inclusiv în cazuri reale din camerele de gardă, unde cel puțin un model s-a dovedit a fi mai precis decât medicii umani.

Cercetarea a fost publicată în această săptămână în revista Science și este realizată de o echipă de medici și specialiști în informatică de la Harvard Medical School și Beth Israel Deaconess Medical Center. Autorii au desfășurat o serie de experimente pentru a măsura cum se compară modelele OpenAI cu medicii umani.

Într-unul dintre experimente, cercetătorii s-au concentrat pe 76 de pacienți care au ajuns la camera de urgență a spitalului Beth Israel. Ei au comparat diagnosticele puse de doi medici primari de medicină internă cu cele generate de modelele OpenAI o1 și 4o. Diagnosticele au fost apoi evaluate de alți doi medici primari, care nu ştiau care variante provin de la oameni și care de la inteligența artificială.

„La fiecare etapă de diagnostic, o1 a avut performanțe ușor mai bune sau cel puțin la același nivel cu cei doi medici primari și cu 4o”, se arată în studiu, autorii menționând că diferențele „au fost deosebit de pronunțate la primul punct de diagnostic (trierea inițială în UPU), când există cele mai puține informații despre pacient și cea mai mare urgență de a lua decizia corectă”.

În comunicatul de presă al Harvard Medical School privind studiul, cercetătorii au subliniat că nu „au pre-procesat deloc datele” – modelele de inteligență artificială au primit exact aceleași informații disponibile în dosarele medicale electronice la momentul fiecărei evaluări.

Pe baza acestor date brute, modelul o1 a reușit să ofere „diagnosticul exact sau unul foarte apropiat” în 67% din cazurile de triaj, comparativ cu un medic care a nimerit diagnosticul exact sau apropiat în 55% dintre situații și cu celălalt medic, care a ajuns la un rezultat corect în 50% din cazuri.

„Am testat modelul de inteligență artificială practic împotriva fiecărui benchmark, iar el a depășit atât modelele anterioare, cât și reperele noastre bazate pe medici”, a declarat Arjun Manrai, care conduce un laborator de inteligență artificială la Harvard Medical School și este unul dintre principalii autori ai studiului.

Totuși, cercetarea nu susține că inteligența artificială este deja pregătită să ia decizii reale de viață și de moarte în camerele de urgență. Concluzia este mai degrabă că rezultatele arată o „nevoie urgentă de studii prospective pentru a evalua aceste tehnologii în condiții reale de îngrijire a pacienților”.

Cercetătorii au subliniat, de asemenea, că au analizat doar performanța modelelor atunci când au primit informații bazate pe text și au avertizat că „studiile existente sugerează că modelele de bază actuale sunt mai limitate în ceea ce privește raționarea pe baza unor tipuri de date non-textuale”.

Adam Rodman, medic la Beth Israel și unul dintre autorii principali ai studiului, a atras atenția că în prezent nu există „niciun cadru formal pentru responsabilitate” în ceea ce privește diagnosticele generate de AI, iar pacienții încă „vor ca oamenii să îi ghideze prin decizii de viață sau moarte [și] să îi ghideze prin decizii dificile de tratament”.

Într-o postare despre studiu, medicul de urgență Kristen Panthagani a apreciat că este „un studiu interesant despre inteligența artificială, care a dus însă la titluri extrem de exagerate”, mai ales pentru că AI a fost comparată cu diagnostice puse de medici de medicină internă, și nu de medici de urgență.

„Dacă vrem să comparăm instrumentele de inteligență artificială cu abilitățile clinice ale medicilor, ar trebui să începem prin a le compara cu medicii care chiar practică acea specialitate”, a spus Panthagani. „Nu m-ar surprinde dacă un LLM ar putea să îl depășească pe un dermatolog la un examen de neurochirurgie, [dar] nu e un lucru deosebit de util de știut.”

Panthagani a mai argumentat: „Ca medic de urgență care vede un pacient pentru prima dată, scopul meu principal nu este să-ți ghicesc diagnosticul final. Scopul meu principal este să stabilesc dacă ai o afecțiune care te-ar putea ucide.”

La final, autorii notează că această postare și titlul ei au fost actualizate pentru a reflecta faptul că diagnosticele din studiu au provenit de la medici primari de medicină internă, precum și pentru a include comentariile lui Kristen Panthagani.