Bu araç ne işe yarar?
Temel robots.txt dosyası taslağı oluşturur. Arama motoru botlarına hangi alanların taranıp taranmayacağını bildirmek için kullanılır.
SEO Araçları
Robots.txt Oluşturucu
Temel robots.txt dosyası için hızlı taslak oluştur.
Online Araç
generator
Robots.txt Oluşturucu
Çıktı burada görünür
Nasıl kullanılır?
- allow, disallow ve sitemap değerlerini yaz.
- Robots Oluştur butonuna tıkla.
- Oluşan robots.txt içeriğini kontrol et.
- Canlıya almadan önce önemli sayfaları yanlışlıkla engellemediğinden emin ol.
Örnek kullanım
Örnek girdi
allow=/
disallow=/admin/
disallow=/panel/
sitemap=https://digitalgezgin.com/sitemap.xmlÖrnek çıktı
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /panel/
Sitemap: https://digitalgezgin.com/sitemap.xmlİpuçları
robots.txt erişim engeli değildir; sadece botlara yönerge verir. Hassas panel ve dosyalar gerçek auth ile korunmalıdır.