robots.txt ne işe yarar?
robots.txt site kökünde durur ve tarayıcı botlara hangi yolların istenmediğini söyler. User-agent yıldız tüm botları, belirli bir ad yalnız o botu seçer. Disallow yasak yolu, Allow onun içindeki bir istisnayı yazar. Sitemap satırı site haritasının tam adresini verir. Bu sayfa grupları tarayıcıda birleştirir ve metni canlı gösterir. İndirilen dosyanın adının başında WebToolPacks yazar. Dosyayı sunucuya kendiniz koymanız gerekir; araç siteye bağlanmaz.
Nasıl kullanılır?
User-agent yazın, yasak ve izin yollarını satır satır girin. Başka bot için grup ekleyin. Sitemap adresini yapıştırın, metni kopyalayın veya indirin.