Платформа «Дзен», принадлежащая VK, заблокировала GPTBot от OpenAI, который сканировал данные с сайта для таких продуктов, как ChatGPT. Изменение было внесено в файл robots. txt, предназначенном для автоматического сбора информации.

VK объяснила, что это сделано для снижения нагрузки на серверы «Дзена», где высоконагруженные сервисы ежесекундно обрабатывают более 150 тысяч запросов. Компания направляет ресурсы на обеспечение качественного опыта пользователям и авторам.

Файл robots. txt является рекомендательным, и роботы теоретически могут игнорировать его указания. GPTBot используется для сбора данных, используемых OpenAI для создания нейросетевых продуктов. Компания заблокировала доступ к сайту для пользователей из России. Проекты «Яндекс» и Google также используют подобные роботы, поддерживая актуальность данных о сайтах.

Источник: Ferra