Проведено дослідження щодо визначення можливості трьох різних загальнодоступних великих мовних моделей: Chat Generative Pretrained Transformer (ChatGPT-3.5), ChatGPT-4 та Google Gemini в аналізі випадків відшарування сітківки та пропозиції найкращого хірургічного лікування.

Проведено аналіз 54 записів про відшарування сітківки, введені в інтерфейси ChatGPT та Gemini. Після питання: «Вкажіть, яке хірургічне лікування ви запропонували б, й можливу внутрішньоочну тампонаду», після зібрання даних відповідей, було проведено оцінку рівня схвалення із загальною думкою трьох експертів у вітреоретинальній хірургії. Крім того, відповіді ChatGPT та Gemini отримали оцінку 1–5 (від поганої до відмінної якості) за шкалою Global Quality Score (GQS).

Результати. Після вилучення 4 спірних випадків було включено 50 випадків. Загалом хірургічний вибір ChatGPT-3.5, ChatGPT-4 та Google Gemini збігався з вибором вітреоретинальних хірургів у 40/50 (80%), 42/50 (84%) та 35/50 (70%) випадків. Google Gemini не зміг відповісти у п'яти випадках. Аналіз непередбачених обставин показав значні відмінності між ChatGPT-4 та Gemini (p=0,03). GQS ChatGPT становив 3,9±0,8 та 4,2±0,7 для версій 3,5 та 4, тоді як Gemini набрав 3,5±1,1. Статистичної різниці між двома ChatGPT не було (p=0,22), хоча обидва перевершили показники Gemini (p=0,03 та p=0,002 відповідно). Основним джерелом помилки був вибір ендотампонади (14% для ChatGPT-3.5 та 4 та 12% для Google Gemini). Тільки ChatGPT-4 зміг запропонувати комбінований підхід до факовітректомії.

На закінчення Google Gemini та ChatGPT послідовно оцінили записи пацієнтів з вітреоретинальною патологією, продемонструвавши хороший рівень схвалення зі сторни досвідчених хірургів. За даними GQS, рекомендації ChatGPT виявилися набагато точнішими.

Посилання >