ChatGPT blisko zdania egzaminu na lekarza w USA

Co to jest ChatGPT?

ChatGPT to nowy system sztucznej inteligencji (AI), znany jako duży model językowy (po angielskiu - Logic Learning Machine, LLM). Został zaprojektowany do generowania tekstów podobnych do pisanych przez człowieka poprzez przewidywanie nadchodzących sekwencji słów. W przeciwieństwie do większości chatbotów ChatGPT nie przeszukujw Internetu. Teksty generuje, wykorzystując relacje między słowami przewidywane przez wewnętrzne procesy.

ChatGPT blisko zdania egzaminu na lekarza w USA

Jak wykazały badania, ChatGPT może uzyskać wynik równy lub zbliżony do około 60-proc. progu wymaganego do uzyskania licencji medycznej w Stanach Zjednoczonych (USMLE), z odpowiedziami, które mają spójny, wewnętrzny sens.

Dr Tiffany Kung i jej współpracownicy z medycznego startupu AnsibleHealth przetestowali możliwości ChatGPT na przykładzie USMLE, wysoce wystandaryzowanej i regulowanej serii trzech egzaminów wymaganych do uzyskania licencji medycznej w Stanach Zjednoczonych. USMLE, przeznaczony dla studentów medycyny i lekarzy stażystów, ocenia wiedzę obejmującą większość dyscyplin medycznych, od biochemii, przez rozumowanie diagnostyczne, po bioetykę.

Po usunięciu pytań opartych na obrazach autorzy przetestowali oprogramowanie na 350 z 376 pytań publicznych dostępnych w wydaniu USMLE z czerwca 2022 r. 

W trzech egzaminach USMLE ChatGPT uzyskał wynik między 52,4 proc. a 75,0 proc. Próg przejścia dla każdego roku wynosił około 60 proc. ChatGPT wykazał również 94,6 proc. zgodności we wszystkich swoich odpowiedziach i uzyskał co najmniej jeden znaczący wgląd (coś, co było nowe, nieoczywiste i klinicznie ważne) dla 88,9 proc. swoich odpowiedzi. Co istotne, ChatGPT przewyższył wynikami PubMedGPT, model przeszkolony wyłącznie w oparciu o literaturę z dziedziny biomedycyny, który uzyskał 50,8 proc. prawidłowych odpowiedzi na starszym zbiorze danych pytań w stylu USMLE.

Chociaż stosunkowo niewielki rozmiar danych wejściowych ograniczał głębokość i zakres analiz - autorzy zauważają, że ich odkrycia dają wgląd w potencjał ChatGPT w zakresie poprawy edukacji medycznej, a ostatecznie praktyki klinicznej. Na przykład klinicyści w AnsibleHealth już używają ChatGPT do "tłumaczenia" skomplikowanego żargonu raportów medycznych w celu łatwiejszego zrozumienia ich przez pacjentów.

"Osiągnięcie pozytywnego wyniku tego niezwykle trudnego egzaminu eksperckiego i dokonanie tego bez wsparcia ze strony ludzi stanowi znaczący kamień milowy w klinicznym dojrzewaniu sztucznej inteligencji" – mówią autorzy.

Dr Tiffany Kung zaznaczyła, że rola ChatGPT wykraczała poza bycie przedmiotem badania: "ChatGPT znacząco przyczynił się do napisania [naszego] tekstu… Współpracowaliśmy z ChatGPT podobnie jak z kolegą, prosząc go o syntezę, uproszczenie i oferowanie kontrapunktów do szkiców w toku… Wszyscy współautorzy cenili wkład ChatGPT".

https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000198