Компания Open AI, разработчик нейросети GPT и чат-бота ChatGPT, назвала способ борьбы с выдуманными ИИ фактами.

Детище компании не раз ловили на лжи. Как отметил гендиректор Open AI Сэм Альтман, бот преподносит «свою» информацию как правду, когда находится в моменте неопределённости. Происходит это потому, что модель не обучена каким-то данным, и если не знает ответа, создаёт новую версию «факта».

Заведомо ложную информацию, предлагаемую нейросетью, назвали «галлюцинациями». В Open AI уверены, что справиться с потоком лжи, которую придумывает ChatGPT, можно с помощью условного вознаграждения. Бот будет присваивать «себе» некие баллы за поиск правильного ответа или решения проблемы, если система находится в ситуации неопределённости и в базе нет правильного или однозначного ответа. То есть нейросеть должна найти верный ответ, обучиться этому, и тогда правильная логика будет включена в алгоритмы.

По словам Альтмана, для создания ложной цепочки построения ответа, когда бот выдаёт ложь под видом реального факта, достаточно всего одной логической ошибки. В этой «хрупкости» и кроется главная опасность, с которой необходимо бороться.

«Даже самые современные ИИ-модели склонны выдавать ложные сведения. Они демонстрируют тенденцию выдумывать факты в моменте неопределённости. Эти “галлюцинации” вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение», — сказано в сообщении Open AI.

Источник: Ferra