Anthropic, стартап в области ИИ, представил свой уникальный подход под названием «Конституционный ИИ» для обучения своего чат-бота Claude с помощью «явных» ценностей.

Цель – решить проблемы, связанные с прозрачностью, безопасностью и принятием решений в системах ИИ. В отличие от традиционных методов, которые полагаются на человеческую обратную связь для оценки ответов, Anthropic обучает свои языковые модели набору поведенческих принципов, что позволяет им лучше отвечать на вопросы противника, не уклоняясь от ответа.

Конституционный ИИ направляет языковые модели ИИ, обучая их с помощью первоначального списка принципов, взятых из различных источников, включая Всеобщую декларацию прав человека, условия обслуживания Apple, рекомендации по доверию и безопасности, а также принципы собственной исследовательской лаборатории Anthropic.

Подход Anthropic позволяет получить более «безопасные и полезные» результаты, при этом ценности системы ИИ легче понять и скорректировать, сообщает стартап.

Источник: Ferra