OpenAI предоставила инструменты для блокировки индексации сайтов своим краулером GPTBot. Чтобы ограничить доступ, владельцы сайтов могут добавить строки в файл robots.txt или блокировать IP-адреса поискового робота

Источник: comss