Проведены исследования по определению возможности трех различных общедоступных крупных языковых моделей: Chat Generative Pretrained Transformer (ChatGPT-3.5), ChatGPT-4 и Google Gemini в анализе случаев отслоения сетчатки и предложения лучшего хирургического лечения.
Проведен анализ 54 записей об отслоении сетчатки, введенных в интерфейсы ChatGPT и Gemini. После вопроса: «Укажите, какое хирургическое лечение вы бы предложили, и возможную внутриглазную тампонаду», после сбора данных ответов, была проведена оценка уровня одобрения с общим мнением трех экспертов в витреоретинальной хирургии. Кроме того, ответы ChatGPT и Gemini получили оценку 1–5 (от плохого до отличного качества) по шкале Global Quality Score (GQS).
Результаты. После извлечения 4 спорных случаев, было включено 50 случаев. В целом хирургический выбор ChatGPT-3.5, ChatGPT-4 и Google Gemini совпадал с выбором витреоретинальных хирургов в 40/50 (80%), 42/50 (84%) и 35/50 (70%) случаев. Google Gemini затруднился ответить в пяти случаях. Анализ непредвиденных обстоятельств показал значительные отличия между ChatGPT-4 и Gemini (p=0,03). GQS ChatGPT составил 3,9±0,8 и 4,2±0,7 для версий 3,5 и 4, тогда как Gemini набрал 3,5±1,1. Статистической разницы между двумя ChatGPT не было (p=0,22), хотя оба превзошли показатели Gemini (p=0,03 и p=0,002 соответственно). Основным источником ошибки был выбор эндотомпонады (14% для ChatGPT-3.5 и 4 и 12% для Google Gemini). Только ChatGPT-4 смог предложить комбинированный подход к факовиктректомии.
В заключение Google Gemini и ChatGPT последовательно оценили записи пациентов с витреоретинальной патологией, продемонстрировав хороший уровень одобрения со стороны опытных хирургов. По данным GQS, рекомендации ChatGPT оказались гораздо более точными.
Ссылки