Crawl budget optimizasyonu, orta ve büyük sitelerde Googlebot’un sınırlı tarama kapasitesini değerli sayfalara yönlendirmeyi hedefler. Bu rehber log analizi, sitemap sinyalleri ve URL israfını sade adımlarla ele alır. Genel teknik SEO denetiminden ayrı, yalnızca taranma verimliliğine odaklanır.
Orta ve büyük ölçekli web sitelerinde arama motoru botları her URL’yi aynı sıklıkta tarayamaz. Crawl budget optimizasyonu, Googlebot’un sınırlı tarama kapasitesini gerçekten değerli sayfalara yönlendirmek için yapılan teknik çalışmadır. Bu rehber genel bir teknik SEO denetimi değildir; log kayıtları, site haritası ve URL israfı üzerinden taranma verimliliğine odaklanır.
Amacınız “daha fazla taransın” demek değil; botun zamanını filtre kombinasyonları, kırık adresler ve düşük değerli kopyalarda boşa harcamamak. Aşağıdaki bölümlerde sorunu nasıl teşhis edeceğinizi ve hangi sinyalleri netleştireceğinizi adım adım göreceksiniz.
Crawl Budget Nedir ve Ne Zaman Önem Kazanır?
Crawl budget, arama motorunun sitenizde bir dönem içinde taramaya ayırdığı kaynak olarak düşünülebilir. Pratikte iki taraf birlikte çalışır: sunucunuzun bot isteklerini sağlıklı karşılama kapasitesi ve arama motorunun sitenizi ne sıklıkla taramak istediği.
Küçük, sade mimarili sitelerde bu konu çoğu zaman görünmez kalır. Sorun, URL sayısı ve varyasyonlar büyüdükçe belirginleşir:
- On binlerce ürün, kategori ve filtre kombinasyonu üreten e-ticaret katalogları
- Parametre, sıralama ve oturum kimliği ile çoğalan adresler
- Çok dil, çok bölge veya tarih arşiviyle şişen içerik envanteri
- Sürekli 4xx/5xx üreten zayıf altyapı veya yarım kalan yönlendirmeler
Bu ölçekte bot, stokta olmayan ürün sayfası veya sonsuz filtre URL’sinde vakit geçirirken güncellenmiş ana kategori veya yeni içerik geç keşfedilebilir. Crawl budget optimizasyonu tam da bu dengesizliği düzeltmeye çalışır.
Taranma Bütçesini Boşa Harcayan Yaygın URL İsrafları
Taranma verimliliğini bozan şey çoğu zaman “kötü içerik” değil, taranmaya değmeyecek adreslerin envantere sızmasıdır. Önce israf kalıplarını netleştirin.
Parametreli ve filtreli adresler
Aynı ürün listesi renk, beden, fiyat aralığı ve sıralama parametreleriyle onlarca URL üretebilir. Bot bu varyasyonları ayrı kaynak gibi görürse değerli sayfalar için kalan kapasite daralır. Canonical, parametre yönetimi ve gerekiyorsa erişim kısıtı birlikte düşünülmelidir.
Soft 404 ve boş sonuç sayfaları
Sayfa teknik olarak 200 döner ama “sonuç bulunamadı”, boş sepet benzeri veya kaldırılmış içerik hissi verir. Bot bunu başarılı tarama sanabilir; siz ise bütçeyi boş şablonlara harcarsınız. Gerçekten yok olan içerikte doğru durum kodu ve temizlik şarttır. Kırık ve yanıltıcı adresler için 404 hatası yönetimi yaklaşımı taranma israfını da azaltır.
Yönlendirme zincirleri ve döngüler
A → B → C gibi uzun zincirler botun aynı nihai içeriğe ulaşmak için birden fazla istek harcamasına yol açar. Tek adımlı, tutarlı 301 yönlendirme planı hem kullanıcı hem tarama verimliliği için daha temizdir.
Düşük öncelikli etiket, arşiv ve kopya şablonlar
Otomatik etiket sayfaları, ince arşivler veya neredeyse aynı metinli şablonlar taranabilir envanteri şişirir. Hepsi indekslenmek zorunda değildir; bir kısmı noindex, bir kısmı birleştirme veya iç bağlantıdan düşürme ile sadeleştirilebilir.
Sunucu Logları ile Googlebot Davranışını Okuma
Search Console faydalıdır ama crawl budget optimizasyonunda asıl netlik genelde erişim loglarından gelir. Logda Googlebot isteklerini ayıklayarak şunları görürsünüz:
- Hangi URL kalıpları en sık taranıyor?
- Tarama, önemli kategorilere mi yoksa parametre çöplüğüne mi gidiyor?
- 4xx ve 5xx oranı bot isteklerinde yüksek mi?
- Yeni veya güncellenen sayfalar ne kadar gecikmeyle görülüyor?
Pratik bir yöntem: bir haftalık logdan bot isteklerini URL kalıbına göre gruplayın. “/filtre?”, “?sort=”, “/tag/”, “/page/” gibi desenlerin toplam payını çıkarın. Eğer bot trafiğinin büyük kısmı iş değeri düşük kalıplardaysa sorun içerik kalitesinden önce keşif mimarisindedir.
Log okurken durum kodu dağılımını da izleyin. Sürekli 404 üreten eski kampanya linkleri veya 500 dönen ağır filtre sayfaları, botun tekrar denemesiyle bütçeyi daha da boşa harcayabilir. Önce hataları kapatın, sonra “daha sık taransın” beklentisine geçin.
Sitemap, Robots ve İç Bağlantı ile Sinyal Netliği
Bot her sinyali eşit ağırlıkta okumaz; çelişen mesajlar taranma verimliliğini düşürür. Amacınız “taranmasını istediğiniz” ve “taranmasına gerek olmayan” adresleri ayırmaktır.
XML site haritasını dar ve temiz tutun
Sitemap bir dilek listesi gibidir: yalnızca indekslenmesini ve düzenli taranmasını istediğiniz kanonik URL’leri koyun. Parametreli kopyalar, noindex sayfalar, yönlendirme ara adresleri ve silinmiş ürünler haritada yer almamalıdır. Harita ile sitedeki gerçek erişilebilirlik çelişirse bot güvensiz sinyaller arasında zaman kaybeder.
robots.txt’yi cerrahi kullanın
robots.txt, bilinen israf dizinlerini ve sonsuz parametre üreten yolları tarama dışında bırakmak için işe yarar. Ancak kritik içeriği yanlışlıkla engellemek keşfi tamamen keser. “Her şeyi kapatayım” refleksi yerine logda israf yaratan kalıpları hedefleyin. Ayrıca robots ile engellenen URL’yi sitemap’e koymayın; bu bariz bir çelişkidir.
İç bağlantı ile öncelik verin
Bot, sitede kolay ulaştığı ve sık referans alan sayfaları daha doğal tarar. Ana kategori, para sayfası ve güncel içerik menü, ilgili ürün ve bağlamsal linklerle desteklenmelidir. Orphan (hiç iç link almayan) sayfalar sitemap’te olsa bile keşif ve tarama sıklığında geride kalabilir.
KepezWeb projelerinde taranma verimliliği konuşulurken önce “hangi URL gerçekten para veya güven üretir?” sorusu sorulur. Bu öncelik netleşmeden robots veya sitemap düzeni çoğu zaman yüzeysel kalır.
Crawl Budget Optimizasyonu İçin Uygulama Sırası
Dağınık müdahale yerine sırayı sabitlemek ölçüm yapmayı kolaylaştırır.
- URL envanteri çıkarın: CMS, filtre motoru, arama sonuçları, etiket ve parametre kalıplarını listeleyin.
- Bot logunu kalıp bazında okuyun: En çok taranan düşük değerli desenleri işaretleyin.
- Hata ve soft 404 temizliği yapın: Gerçek 404, doğru yönlendirme veya içerik birleştirme kararını verin.
- Kanonik ve kopya sinyallerini hizalayın: Aynı içeriğin tek temsilcisini seçin.
- Sitemap’i sadeleştirin: Yalnızca kanonik, erişilebilir ve değerli URL kalsın.
- Gereken yolları robots veya noindex ile ayırın: Kararı kalıp bazında dokümante edin.
- Sunucu yanıtını izleyin: Yavaş veya hatalı yanıt botun tarama isteğini frenleyebilir.
- Search Console tarama istatistikleri ve log ile tekrar ölçün: Müdahaleden sonra botun hangi kalıplara kaydığını kontrol edin.
Bu sıra, “her şeyi bir anda kapatma” riskini azaltır. Özellikle büyük katalogda ani robots değişiklikleri beklenmedik keşif kaybı yaratabilir; kalıp kalıp ilerlemek daha güvenlidir.
İsraf ve Verimli Durum Karşılaştırması
Aşağıdaki özet, ekiplerin aynı dili konuşması için pratik bir kontrol tablosudur.
| Alan | İsraf yaratan durum | Daha verimli yaklaşım |
|---|---|---|
| Filtre URL’leri | Tüm kombinasyonlar taranabilir ve haritada | Değerli yüzeyi sınırlı tut; kopyaları kanonikleştir |
| Durum kodları | Boş sayfa 200, eski link 404 yığını | Soft 404’leri ayıkla; kırıkları yönlendir veya temizle |
| Yönlendirmeler | Zincir ve karışık 302/301 kullanımı | Tek adımlı kalıcı yönlendirme |
| Sitemap | Noindex, parametre ve silinmiş URL dolu | Yalnızca kanonik ve erişilebilir adresler |
| İç bağlantı | Önemli sayfa orphan veya derin gömülü | Para sayfalarına kısa ve tutarlı yollar |
Sıkça Sorulan Sorular
Crawl budget küçük siteler için de kritik midir?
Genelde hayır. Az sayıda temiz URL’si olan sitelerde bot çoğu adresi zaten tarayabilir. Konu, URL varyasyonları ve hata oranı büyüdükçe öncelik kazanır. Yine de kırık link ve gereksiz parametre temizlemek her ölçekte faydalıdır.
Crawl budget’ı tek bir metrikte görebilir miyim?
Tek sihirli sayı yoktur. Logdaki bot istek dağılımı, durum kodları, sitemap kapsamı ve Search Console tarama istatistikleri birlikte okunur. “Tarama arttı” tek başına başarı sayılmaz; taramanın doğru sayfalara kayıp kaymadığına bakılır.
robots.txt taramayı her zaman iyileştirir mi?
Hayır. Doğru kalıbı engellerse israfı keser; yanlış kalıbı engellerse önemli keşfi bozar. Ayrıca engellenen sayfanın “sorunlu” sinyali Search Console’da farklı görünebilir. robots kararı log ve iş önceliğiyle verilmelidir.
Site hızı crawl budget ile ilişkili midir?
Dolaylı olarak evet. Sunucu bot isteklerine yavaş veya hatalı yanıt veriyorsa tarama temposu düşebilir. Hız çalışması tek başına içerik önceliğini çözmez; ancak sağlıklı yanıt, bütçenin kullanılabilir kalmasına yardım eder.
Yeni ürün veya blog yazısı neden geç taranır?
Bot kapasitesi düşük değerli URL’lerde meşgulse veya yeni sayfa zayıf iç bağlantı alıyorsa keşif gecikebilir. Sitemap güncellemesi, ilgili kategori ve bağlamsal linkler, temiz kanonik sinyal birlikte çalışmalıdır.
Orta ve büyük sitelerde crawl budget optimizasyonu bir kerelik “ayar” değil, URL üretimi devam ettikçe izlenen bir bakım disiplinidir. KepezWeb, taranma verimliliğini log, sitemap ve israf kalıpları üzerinden sade bir öncelik listesine indirger; böylece ekip robots satırıyla değil, ölçülen bot davranışıyla ilerler. Teknik SEO ve tarama mimarisi tarafında destek isterseniz SEO hizmeti sayfasına bakabilir, ihtiyaçlarınızı netleştirmek için teklif al formundan ulaşabilirsiniz.
