Нейросеть «Яндекса» оказалась на две трети лучше в качестве ответов на русском языке, чем её западный аналог

В 63% случаев российская нейросеть YandexGPT 2 оказывается более эффективной в ответах на русском языке по сравнению с языковой моделью GPT 3.5 от американской OpenAI. Это выявлено в результате тестирования, где обе нейросети отвечали на одинаковые запросы, и ИИ-тренеры выбирали наилучший ответ без знания, какой сервис его предоставил.

Вопросы для тестирования были сформированы на основе реальных обращений пользователей к нейросети YandexGPT 2 в продуктах «Яндекса». Эксперты, выбирая лучший ответ, учли разнообразные темы, отражающие реальные потребности людей.

Технический директор «Яндекс Поиска» Алексей Гусаков подчеркнул, что сравнения нейросетей имеют целью улучшить функционал продукта и разрабатывать новые возможности, а не просто для получения абстрактных числовых показателей в бенчмарке. YandexGPT, находящаяся в стадии разработки, уже внедрена в голосового ассистента «Алиса».

Источник: Ferra