Bu araç ne işe yarar?
robots.txt ve varsa llms.txt dosyasını kontrol ederek GPTBot, Google-Extended, ClaudeBot, PerplexityBot gibi AI crawler sinyallerini özetler.
robots.txt ve llms.txt içinde AI crawler kuralları var mı kontrol et.
robots.txt ve varsa llms.txt dosyasını kontrol ederek GPTBot, Google-Extended, ClaudeBot, PerplexityBot gibi AI crawler sinyallerini özetler.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
GPTBot: Engellenmiş
Google-Extended: Engellenmiş
CCBot: Kural bulunamadı
AI botlarını robots.txt ile yönetmek yönerge niteliğindedir. Tüm botların buna uyacağı garanti değildir.