Robots.txt, arama motoru botlarının sitenizdeki belirli alanları taramasını yönetir; indeks kaldırma veya erişim güvenliği aracı değildir. Bu rehber, doğru kuralları yazmayı, yayına almadan test etmeyi ve sık engelleme hatalarını önlemeyi anlatır.
Bir robots.txt kuralı, arama motoru botlarının sitenizde hangi URL alanlarını tarayabileceğini yönetir. Bu nedenle robots.txt nasıl hazırlanır sorusunun yanıtı, birkaç satır komut yazmaktan fazlasıdır: Asıl amaç, ziyaretçilere açık ve görünür olması gereken sayfaları yanlışlıkla engellememektir.
Robots.txt bir URL’yi arama sonuçlarından kaldırma ya da gizli verileri koruma aracı değildir. KepezWeb yaklaşımında bu dosya; URL yapısı, indeksleme sinyalleri, yönlendirmeler ve erişim kurallarıyla birlikte değerlendirilir.
robots.txt nasıl hazırlanır: önce amacı belirleyin
Robots.txt, tarama aşamasında devreye girer. Bir bot siteye geldiğinde kök dizindeki robots.txt dosyasını kontrol eder ve kendisi için yazılmış kuralları dikkate alır. İndeksleme ise ayrı bir süreçtir. Bir URL taramaya kapalı olsa bile başka sayfalardaki bağlantılar aracılığıyla keşfedilebilir ve bazı durumlarda arama sonuçlarında görünebilir.
| İhtiyaç | Uygun yaklaşım | Robots.txt neden tek başına yeterli değildir? |
|---|---|---|
| Yönetim veya teknik alanların taranmasını sınırlamak | Dar kapsamlı Disallow ve gerektiğinde Allow kuralı | Dosya yalnız botların tarama davranışını yönlendirir. |
| Bir sayfayı arama sonuçlarından kaldırmak | Hedef arama motorunun desteklediği noindex yöntemi ve erişim kontrolü | Bot URL’yi tarayamazsa noindex sinyalini de okuyamayabilir. |
| Özel müşteri, sipariş veya yönetim verisini korumak | Giriş zorunluluğu, yetkilendirme ve sunucu taraflı erişim kuralları | Robots.txt herkese açık bir dosyadır; gizli alanların yolunu görünür kılabilir. |
| Taşınan veya değişen sayfaları yönetmek | Uygun yönlendirme ve kanonik URL planı | Robots.txt eski URL’yi yeni adrese taşımaz. |
Bu ayrımı yapmak, en yaygın teknik SEO hatalarından birini önler: Arama sonucundan kaldırılmak istenen bir sayfayı robots.txt ile engellemek. Önce hedefi belirleyin, ardından o hedefe uygun yöntemi seçin.
Dosyayı yazmadan önce URL yapınızı inceleyin
Robots.txt dosyası alan adının kök konumunda yer alır; yani dosya yolu /robots.txt olmalıdır. Alt klasöre yüklenen bir robots.txt dosyası, sitenin tamamı için kural olarak çalışmaz.
www ve www olmayan alan adı sürümleri, alt alan adları veya farklı ortamlar kullanıyorsanız her birinin yayındaki davranışını ayrıca kontrol edin. Örneğin blog, mağaza veya yardım merkezi ayrı bir alt alan adında çalışıyorsa, kendi robots.txt dosyasına ihtiyaç duyabilir.
- Taranmasını istediğiniz herkese açık sayfaları listeleyin: ürün, kategori, hizmet, blog ve iletişim gibi.
- Taranmasını sınırlamak istediğiniz gerçek URL dizinlerini belirleyin: yönetim uçları, dahili arama alanları veya işlevsel teknik sayfalar gibi.
- Her kuralın hangi canlı URL’leri etkileyeceğini not alın.
- Mevcut dosyanın bir kopyasını saklayın; değişiklikten sonra sorun oluşursa geri dönüşünüz kolaylaşır.
URL mimarisi proje başında netleştirildiğinde robots.txt dosyasını yönetmek de kolaylaşır. Bu nedenle yeni bir projede bilgi mimarisini web tasarım planının parçası olarak ele almak faydalıdır.
Temel söz dizimi ve güvenli örnek
Robots.txt düz metin dosyasıdır. Kurallar, hangi bot için yazıldığını gösteren User-agent satırıyla başlar. Ardından engellenecek yollar için Disallow, istisnalar için ise Allow kullanılabilir.
User-agent: * Disallow: /yonetim/ Allow: /yonetim/genel-bilgi/ Sitemap: [site-haritasi-adresiniz]
- User-agent: * kuralın tüm botlara yönelik olduğunu belirtir.
- Disallow: /yonetim/ ilgili dizinin taranmamasını ister.
- Allow, daha geniş bir engelleme içindeki belirli bir yol için istisna tanımlamak gerektiğinde kullanılır.
- Sitemap, XML site haritanızın konumunu botlara bildirir; taramayı engelleyen bir direktif değildir.
Boş bir Disallow: satırı, ilgili bot için engelleme olmadığı anlamına gelir. Farklı botlara farklı kurallar yazacaksanız her grubu boş satırla ayırın ve her grubun başına yeni bir User-agent satırı ekleyin.
Yıldız işareti veya satır sonu işareti gibi desen eşleştirme karakterleri, geniş kapsamlı sonuçlar doğurabilir. Botların kural yorumları da aynı olmayabilir. Bu yüzden URL desenlerini ezbere kopyalamak yerine, kuralın etkileyeceği gerçek yolları tek tek kontrol edin.
Hangi sayfalar için kural yazılmalı?
Her sitede engellenecek alan bulunması gerekmez. Gereksiz ve geniş kapsamlı bir robots.txt dosyası, yarardan çok risk oluşturabilir. Kural eklemek için sayfanın taranmasının neden istenmediğini açıkça açıklayabilmeniz gerekir.
Yönetim panelleri, oturum sonrası çalışan müşteri sayfaları, dahili arama sonuçları veya işlevsel teknik uçlar değerlendirilebilir. Ancak bunların erişim güvenliği robots.txt ile sağlanmamalıdır. Özellikle sipariş, hesap ve kişisel veri içeren alanlar için yetkilendirme zorunludur.
E-ticaret sitelerinde filtreleme, sıralama, varyasyon ve kampanya parametreleri daha dikkatli planlanmalıdır. Her filtre URL’sini topluca engellemek; ürün keşfi, kategori yapısı veya kullanıcıların paylaştığı bağlantılar üzerinde istenmeyen etki yaratabilir. Bu alanlarda önce hangi URL’nin ana sürüm olduğuna, hangilerinin gerçekten taranmasına ihtiyaç bulunmadığına karar verin. Teknik kurgu, ürün yapısı ve entegrasyonlar birlikte ele alındığında e-ticaret sitesi yönetimi daha sürdürülebilir hâle gelir.
Sayfaların görünmesi için gereken CSS, JavaScript veya görsel dosyalarını engellemeden önce de dikkatli olun. Arama motorlarının sayfayı işleme biçimi ve kullanıcı deneyimi etkilenebilir. Geniş bir klasörü kapatmak yerine, hedeflediğiniz işlevsel yolu mümkün olduğunca dar tutun.
Robots.txt dosyasını yayına alma adımları
- Tarama amacını yazın. Her kural için “Bu URL neden taranmamalı?” sorusuna bir cümleyle cevap verin. Net bir gerekçe yoksa kuralı eklemeyin.
- En dar kuralı oluşturun. Tüm siteyi veya geniş içerik klasörlerini engellemek yerine yalnız hedef dizini kullanın. Özellikle ürün, blog ve hizmet URL’lerini kapsayacak genel desenlerden kaçının.
- Test ortamını koruyun. Test veya geliştirme ortamını yalnızca robots.txt ile gizlemeyin. Bu ortamlar herkese açık olmamalı; erişim sunucu veya uygulama düzeyinde sınırlandırılmalıdır.
- Dosyayı kök dizine yükleyin. Dosya adı küçük harflerle robots.txt olmalı ve alan adınızın kökünde yanıt vermelidir. Yayındaki alan adı sürümünde yanlış dosyanın, hata sayfasının veya beklenmeyen yönlendirmenin sunulmadığını kontrol edin.
- Örnek URL’leri doğrulayın. Engellenmesi gereken bir URL ile açık kalması gereken bir URL seçin. Arama motoru yönetim araçlarındaki URL inceleme ve tarama raporlarıyla değişikliğin etkisini gözlemleyin.
- Değişiklik kaydı tutun. Hangi kuralın ne zaman ve hangi gerekçeyle eklendiğini not edin. Böylece görünürlükte bir değişim olduğunda nedeni araştırmak kolaylaşır.
Geniş içerik yapısına sahip sitelerde robots.txt kararı; site haritası, yönlendirmeler, kanonik etiketler ve indeksleme denetimiyle birlikte yapılmalıdır. KepezWeb, bu tür teknik kararları SEO hizmeti kapsamındaki site denetimiyle değerlendirebilir.
Yanlış engellemeye yol açan yaygın hatalar
- Disallow: / kullanmak: Bu kural sitenin tamamına yönelik tarama engeli oluşturur. Geçici test amacıyla eklense bile canlı sitede unutulmamalıdır.
- Noindex sayfalarını önce robots.txt ile kapatmak: Bot sayfaya erişemediğinde indeksleme sinyalini okuyamayabilir. Kaldırma hedefinde kuralların sırası önemlidir.
- Robots.txt’yi güvenlik önlemi sanmak: Dosya herkese açık olduğundan gizli veri, müşteri hesabı veya yönetim ekranı koruması için uygun değildir.
- Yol adını yanlış yazmak: Büyük-küçük harf farkı, klasör adı değişikliği veya eksik eğik çizgi, kuralın beklenenden farklı çalışmasına neden olabilir.
- Platform güncellemesinden sonra kontrol etmemek: Tema, eklenti, yönlendirme veya sunucu ayarı değiştiğinde sunulan robots.txt içeriği de doğrulanmalıdır.
Sıkça Sorulan Sorular
Robots.txt dosyası yoksa ne olur?
Dosya yoksa botlar, erişebildikleri URL’leri genel tarama kurallarına göre değerlendirebilir. Robots.txt dosyasının olmaması, sayfaların otomatik olarak arama sonuçlarından kaldırılacağı veya tümünün indeksleneceği anlamına gelmez.
Robots.txt ile engellenen sayfa arama sonucunda görünebilir mi?
Görünebilir. Bir URL başka sayfalardan bağlantı alıyorsa bot bu URL’nin varlığını keşfedebilir; ancak engel nedeniyle içeriği tarayamayabilir. Arama sonucundan kaldırma hedefi için robots.txt yerine uygun indeksleme ve erişim yöntemleri değerlendirilmelidir.
WordPress eklentisiyle robots.txt yönetmek güvenli midir?
Eklenti veya SEO eklentisi dosyayı yönetebilir; ancak önemli olan ziyaretçilere ve botlara gerçekte hangi içeriğin sunulduğudur. Fiziksel bir dosya, eklenti ayarı veya sunucu kuralı çakışıyorsa kök dizindeki yanıtı mutlaka kontrol edin.
Site taşındığında robots.txt değiştirmek gerekir mi?
Yeni alan adı, alt alan adı veya URL yapısı kullanılıyorsa dosyayı yeniden gözden geçirin. Eski klasör adlarını hedefleyen kurallar yeni sitede anlamsız kalabilir; yeni yapıdaki kritik alanlar ise gözden kaçabilir.
Robots.txt dosyasındaki belirsizlik, yeni site yayını veya e-ticaret filtre yapısında daha geniş bir teknik inceleme gerektirebilir. KepezWeb ekibi, tarama kurallarını sitenizin URL yapısı ve görünürlük hedefleriyle birlikte değerlendirebilir. Projenizi konuşmak için teklif alın.
