Журналист издания ArsTechnica Бендж Эдвардс рассказал об эксперименте, проведённом при исследовании точности больших языковых моделей искусственного интеллекта — ChatGPT и подобных. Работал журналист с системой детектирования текстов, сгенерированных технологиями ИИ.

Речь идёт о таком инструменте, как GPTZero. В основе технологии лежит большая языковая модель, обученная на громадном объёме текста, состоящем из миллионов примеров письма и включающая набор предполагаемых правил, которые определяют, будет ли письмо с большей вероятностью сгенерировано человеком или искусственным интеллектом.

Несмотря на это «точные» системы могут вполне дать сбой при определении таких сложных и многомерных текстов, как Библия и подобные фолианты, а также Конституция США.

При детектировании текста Конституции система GPTZero выдала определение, согласно которому Конституция США написана искусственным интеллектом. Ошибка систем ИИ кроется в том, что они имеют такую функцию детектирования, как «недоумение» — насколько выходные данные, сформированные при анализе, близки к тому материалу, на котором языковую модель обучали.

Источник: Ferra