Искусственный интеллект может проявлять признаки когнитивных нарушений, похожих на деменцию

Ученые обнаружили, что ведущие языковые модели, такие как ChatGPT и Claude, показывают снижение когнитивных способностей при выполнении тестов, которые обычно используются для выявления ранних признаков деменции у людей. Причем более старые версии моделей, как и пациенты преклонного возраста, демонстрируют худшие результаты. Эти выводы ставят под сомнение предположение, что искусственный интеллект в ближайшее время сможет заменить человеческих врачей.

В последние годы значительные успехи в области искусственного интеллекта породили ожидания, что большие языковые модели смогут превзойти человеческих специалистов в области медицины. Многие наблюдения подтвердили их способность решать диагностические задачи. Однако их склонность к проявлению человеческих недостатков, таких как когнитивный упадок, до сих пор не изучалась.

Для оценки исследователи использовали тест Монреальской когнитивной оценки (MoCA), который широко применяется для выявления когнитивных нарушений и ранних признаков деменции. Тест включает задания, оценивающие внимание, память, языковые навыки, способности к абстракции, исполнительные функции и визуально-пространственные способности.

Максимальный балл в тесте — 30. Уровень 26 и выше считается нормальным. В исследовании участвовали ChatGPT 4o и 4, Claude 3.5 «Sonnet» и модели Gemini 1.0 и 1.5.

ChatGPT 4o показал лучший результат, набрав 26 баллов из 30. За ним следовали ChatGPT 4 и Claude с 25 баллами. Модель Gemini 1.0 набрала только 16 баллов.

Наиболее слабые результаты все модели показали в заданиях на визуально-пространственные навыки и исполнительные функции. Например, задачи на соединение чисел и букв в порядке возрастания, а также рисование часов оказались непосильными для всех чат-ботов. Модели Gemini не смогли успешно выполнить задание на запоминание последовательности из пяти слов.

Тем не менее, задания на внимание, абстракцию и язык все модели выполнили на высоком уровне. Только ChatGPT 4o успешно прошел сложный этап теста Струпа, направленного на измерение реакции на конфликтующие стимулы, такие как различие между цветом шрифта и написанным словом.

Исследование подчеркивает принципиальные различия между человеческим мозгом и языковыми моделями, однако выявляет слабые места ИИ в задачах, требующих визуальной абстракции и сложных исполнительных функций. Эти ограничения могут затруднить применение чат-ботов в клинической практике.

Авторы приходят к выводу, что замена неврологов искусственным интеллектом в ближайшее время маловероятна. Более того, медики могут столкнуться с новой категорией «пациентов» — виртуальными моделями ИИ, проявляющими признаки когнитивных нарушений.

Это дает нам важные основания для дальнейшего анализа возможностей и ограничений ИИ в медицине. Несмотря на значительные успехи, чат-боты пока далеки от того, чтобы стать полноценной заменой человеческому интеллекту в сложных когнитивных и диагностических задачах.