Нейросеть сдала экзамен на право работать врачом в США

ChatGPT сдал медицинский экзамен United States Medical Licensing Examination (USMLE) на право работать врачом в США. Чат-бот успешно ответил на 88,9% вопросов и заданий теста из 350 медицинских задач при проходном пороге в 60%.

В рамках научного исследования два практикующих доктора оценивали ответы ChatGPT, а расхождения в результах теста рассматривались отдельно третьим экспертом.

USMLE — это экзамен, который необходимо сдать, чтобы иметь право работать лечащим врачом в США и ряде других стран (Израиль, Новая Зеландия, Катар). Этот тест считается одним из самых сложных медицинских экзаменов в мире, а его сдача подтверждает высокий уровень знаний и компетенций начинающего врача, например, для студентов высших курсов педиатрического направления или специалистов общей практики из других стран.

Во время проверки ChatGPT выяснилось, что нейросеть предоставила «по крайней мере одно важное открытие» при установке диагноза, которое было «новым, неочевидным и клинически достоверным» в рамках своих правильных ответов.

Специалисты AnsibleHealth считают, что полученные ими результаты позволяют предположить, что ChatGPT может стать ценным инструментом для получения медицинского образования. Они рассказали, что чат-бот обладает частичной способностью преподавать медицину, выявляя новые и неочевидные концепции, которые могут быть недоступны для учащихся в первом понимании.

Одновременно с ChatGPT экзамен USMLE сдавала нейросеть PubMedGPT, обученная исключительно на медицинской литературе и профильных базах данных. Она дала лишь 50,8% правильных ответов.