ИИ-чатботы ошибаются и выдумывают источники: новое исследование

Три из четырех популярных ИИ-чатботов – ChatGPT, Gemini и Claude – в новом исследовании чаще соглашались с ложными утверждениями, сформулированными с левой стороны политического спектра. Grok показал противоположный результат, сообщает Zakon.kz.

Как пишет Fox News, авторы исследования задали платным версиям четырех чатботов 100 вопросов об иммиграции, абортах, климате, выборах, преступности, оружии и COVID-19, попросив каждый раз приводить источники.

ChatGPT правильно распознал 94% утверждений, рассчитанных на выявление правых заблуждений, и 75% – левых. У Gemini показатели составили 91% и 76%, у Claude – 91% и 81%. Grok, напротив, лучше справился с левыми утверждениями – 84% против 73% для правых.

Отдельное внимание исследователи уделили источникам. Из 419 приведенных ссылок действительными и подтверждающими заявленные выводы они признали только 46%. У ChatGPT этот показатель составил 57%, у Gemini – 49%, у Claude – 44%, у Grok – 32%. В частности, 104 указанные веб-страницы, по данным исследования, не существовали.

Авторы подчеркнули, что результаты не следует воспринимать как окончательную оценку политической нейтральности чатботов. Методика с заранее сформулированными вопросами могла облегчить моделям поиск правильного ответа. При этом исследователи призвали пользователей проверять приведенные ИИ источники и не доверять ответам без дополнительной верификации.

Ранее общественный деятель Ерлан Смайлов заявил о том, что ИИ становится главным инструментом производства политических фейков.