ChatGPT вперше здає іспит з неврології

Останнє оновлення OpenAI своєї великої мовної моделі (LLM), ChatGPT 4.0, склало іспит з клінічної неврології з 85% правильних відповідей у ​​дослідженні з підтвердженням концепції. Автори дослідження вважають, що після деякого доопрацювання LLM можуть мати «значне застосування» в клінічній неврології.

Результати експерименту, проведеного групою дослідників з Університетської лікарні Гейдельберга та Німецького центру дослідження раку в Гейдельберзі, були опубліковані 7 грудня. У тесті, проведеному 31 травня, брали участь два LLM, ChatGPT 3.5 і його пізніша версія. версія, ChatGPT 4.0.

Дослідники використали банк питань для іспиту з неврології від Американської ради з психіатрії та неврології з невеликою когортою питань від Європейської ради з неврології.

За темою: демо-версію Google Gemini тепер звинувачують у «підробці»

У той час як стара версія ChatGPT набрала 66,8%, правильно відповівши на 1306 із 1956 питань, новіша модель, ChatGPT 4.0, набрала 85% із 1662 правильними відповідями. Середній бал серед людей склав 73,8%. ChatGPT 4.0 перевершив людей-користувачів у питаннях, пов’язаних з поведінкою, когнітивними та психологічними питаннями, і фактично «пройшов» іспит з неврології, оскільки 70% правильних відповідей зазвичай вважаються прохідним балом у навчальних закладах.

Однак обидві моделі продемонстрували слабшу продуктивність у завданнях, які вимагали «мислення вищого порядку», ніж у питаннях, які вимагали лише «мислення нижчого порядку».

На думку групи дослідників, які проводили експеримент, ці результати є рекомендацією використовувати LLMs у клінічній неврології після деяких модифікацій:

«Ці висновки свідчать про те, що з подальшим удосконаленням великі мовні моделі можуть мати значне застосування в клінічній неврології».

Дослідники зазначають, що є ще кілька застережень. Хоча існує чітка перспектива для застосування LLMs у документації та системах підтримки прийняття рішень, неврологи повинні бути обережними щодо їх використання на практиці, оскільки вони все ще недосконалі щодо когнітивних завдань високого рівня. У розмові з Cointelegraph один із авторів дослідження, доктор Варун Венкатарамані, сказав:

Ми розглядаємо наше дослідження більше як підтвердження концепції можливостей LLM. Потрібна розробка і, ймовірно, навіть конкретне тонке налаштування LLM, щоб зробити їх належним чином застосовними для клінічної неврології.

Штучний інтелект вже працює над деякими важливими завданнями в галузі охорони здоров’я, такими як пошук ліків від раку для AstraZeneca або боротьба з надмірним призначенням антибіотиків у Гонконзі.