Robots & Sitemap

Robots & Sitemap aracı, sitenizin robots.txt ve XML sitemap dosyalarını saniyeler içinde tarayıp arama motoru botlarının hangi sayfaları görebildiğini, hangilerinin engellendiğini ve sitemap'inizin geçerli olup olmadığını gösterir. URL'nizi girersiniz; araç, tarama engellerini, çakışan kuralları ve eksik sitemap bildirimlerini işaretleyip uygulanabilir düzeltmeler sunar.

Bu iki dosya, teknik SEO'nun kapı bekçileridir: robots.txt botların sitenizde nereye erişebileceğini belirler, XML sitemap ise indekslenmesini istediğiniz URL'leri listeler. Google'ın resmi dokümantasyonuna göre tek bir sitemap dosyası en fazla 50.000 URL veya 50 MB (sıkıştırılmamış) içerebilir (Google Search Central, 2025) ve robots.txt dosyasında 500 KiB üzerindeki içerik yok sayılır (Google robots.txt Spec, 2025).

Araç, sitenizin /robots.txt ve XML sitemap dosyalarını çekip üç temel soruyu yanıtlar: Botlar önemli sayfalarınıza erişebiliyor mu? Sitemap'iniz geçerli ve robots.txt'te bildirilmiş mi? İki dosya arasında çelişki var mı? Sonucu anında, tarayıcıdan çıkmadan alırsınız.

Somut olarak araç şunları denetler:

• Erişilebilirlik: robots.txt dosyası 200 durum koduyla dönüyor mu, yoksa yanlışlıkla tüm siteyi mi engelliyor (Disallow: /).
• Kritik dosya engelleri: CSS, JavaScript veya görsel dizinleri kapatılmış mı — Google'ın sayfayı doğru render etmesi bu dosyalara bağlıdır.
• Sitemap bildirimi: robots.txt içinde Sitemap: satırı var mı ve verdiği adres gerçekten çalışıyor mu.
• Sitemap geçerliliği: XML formatı bozuk mu, 50.000 URL / 50 MB limitini aşıyor mu, engellenmiş URL'ler listeleniyor mu.
• Bot bazlı kurallar: Googlebot, Bingbot ve GPTBot gibi AI tarayıcıları için ayrı kurallar doğru yazılmış mı.

Çıktı ham bir dosya dökümü değil; her bulgu "neden sorun" ve "nasıl düzeltilir" başlıklarıyla sunulur.

Doğru yapılandırılmış robots.txt ve sitemap, arama motorunun tarama bütçesini boşa harcamasını önler ve doğru sayfaların keşfedilmesini hızlandırır. Yanlış yapılandırma ise sitenizin tamamının indeksten düşmesine kadar gidebilecek sessiz felaketlere yol açar.

En sık karşılaşılan sorun, robots.txt'in indeksleme kontrolü sanılmasıdır. Google açıkça belirtir: robots.txt bir sayfayı Google'dan uzak tutma mekanizması değildir; başka sitelerden bağlantı alan engellenmiş bir URL, içeriği taranmasa bile arama sonuçlarında görünebilir (Google Search Central, 2025). Bu yüzden bir sayfayı gerçekten gizlemek için noindex etiketi veya şifre koruması gerekir.

İkinci büyük tuzak, noindex ile Disallow'un birlikte kullanılmasıdır. Sayfa robots.txt'te engellendiğinde bot sayfayı hiç açamaz, dolayısıyla içindeki noindex etiketini asla göremez — sayfa arama sonuçlarında kalmaya devam eder. Bu çelişkiyi araç otomatik yakalar. İndeksleme durumunu ayrıca İndexlenme Kontrolü aracıyla sayfa bazında doğrulayabilirsiniz.

Kısaca: robots.txt neyin taranmayacağını söyler, sitemap neyin taranıp indekslenmesini istediğinizi söyler. İkisi birbirini tamamlar ama asla çakışmamalıdır — bir URL robots.txt'te engelliyse sitemap'te yer almamalıdır.

Kaynaklar: Google robots.txt Spec, 2025 ve Google Sitemap Docs, 2025. Her iki dosya da yalnızca birer sinyaldir; içerik kalitesi ve teknik sağlamlık olmadan tek başlarına indekslenmeyi garanti etmez.

Alan adınızı girip taramayı başlatın; araç saniyeler içinde robots.txt ve sitemap raporunu döker. Ardından her bulguyu önceliğine göre uygularsınız.

1. Kök alan adınızı girin (örn. https://siteniz.com). Araç otomatik olarak /robots.txt ve bildirilen sitemap'leri çeker.
2. Kırmızı işaretli engelleri önce düzeltin: Yanlışlıkla Disallow: / veya CSS/JS engeli varsa bunlar en yüksek önceliktir; canlı yayında ciddi trafik kaybı yaratır.
3. Sitemap satırını ekleyin: robots.txt'in en altına Sitemap: https://siteniz.com/sitemap.xml ekleyin. Google birden fazla sitemap satırına izin verir, limit yoktur.
4. Çakışan URL'leri temizleyin: Sitemap'te listelenip robots.txt'te engellenen URL'leri her iki dosyadan birinde düzeltin.
5. Search Console'a gönderin ve keşfedilen/indekslenen URL sayısını izleyin.

Çıktıyı uyguladıktan sonra sitenizin geneli için diğer teknik kontrolleri de çalıştırın: Canonical Kontrolü ile kopya sayfa sinyallerini, Hreflang Kontrolü ile çok dilli etiketleri, Schema Üretici ile yapılandırılmış veriyi doğrulayın. Bunlar birlikte sağlam bir teknik SEO temeli kurar.

En yıkıcı hata, geliştirme ortamından canlıya taşınan Disallow: / satırıdır — bu tek satır tüm siteyi taramaya kapatır. Aşağıdaki hatalar araç tarafından işaretlenir:

• CSS/JS engellemek: /wp-content/ veya /assets/ gibi dizinlerin tamamen kapatılması Google'ın sayfayı doğru render etmesini engeller ve mobil uyumluluk sinyallerini bozar.
• Sitemap'i engellemek: robots.txt'teki bir kural, sitemap URL'sini de kapatıyorsa Googlebot sitemap'e hiç ulaşamaz.
• Büyük/küçük harf ve yol hataları: robots.txt yolları harfe duyarlıdır; /Klasor/ ile /klasor/ farklı yorumlanır.
• robots.txt'i indeksleme için kullanmak: Gizlemek istediğiniz sayfa için engelleme değil, İndexlenme Kontrolü ile doğrulanan noindex kullanılmalıdır.
• AI botlarını atlamak: GPTBot, Google-Extended gibi tarayıcılar için ayrı kural yazmadıysanız içeriğinizin AI eğitiminde kullanımı üzerinde kontrolünüz olmaz.

Meta düzeyindeki diğer sinyalleri de gözden geçirmek isterseniz Meta Açıklama Üretici aracı SERP görünürlüğünüzü tamamlar.

Hayır. Sitemap yalnızca keşfi hızlandırır; indekslenmeyi garanti etmez. Google, bir URL'nin sitemap'te olmasının indeksleneceği anlamına gelmediğini net biçimde belirtir — tarama bütçesi, içerik kalitesi ve teknik sağlamlık belirleyicidir (Google Sitemaps Report, 2025).

Bu yüzden sitemap'inize ince, kopya veya düşük değerli sayfaları eklemek zarar verir: tarama bütçesini boşa harcar ve siteye dair kalite algısını düşürür. İdeal sitemap yalnızca indekslenmesini istediğiniz, kanonik ve değerli URL'leri içerir. Search Console'da "keşfedilen" sayısı "indekslenen" sayısından çok yüksekse, indeks kapsam raporundaki hataları araştırmanız gerekir.

Sitemap sağlığı, bütünsel bir teknik SEO stratejisinin yalnızca bir parçasıdır. Sitenizin robots.txt ve sitemap yapılandırmasını uzman gözüyle denetletmek veya kurumsal bir teknik SEO altyapısı kurmak isterseniz, Sora Yazılım ile iletişime geçebilirsiniz. Ekibimiz tarama, indeksleme ve GEO/AEO görünürlüğü için uçtan uca çözüm sunar.

Çok dilli bir sitede en sağlıklı kurulum, her dil için ayrı bir sitemap dosyası oluşturup bunları tek bir sitemap index altında toplamak ve robots.txt'te yalnızca bu index dosyasını bildirmektir. Böylece her dilin indekslenme performansını Search Console'da ayrı ayrı izleyebilirsiniz.

Somut bir vaka: Beş dilde (TR/EN/DE/RU/AR) yayın yapan kurumsal bir hizmet sitesi düşünün. Tüm diller tek bir dev sitemap'e yığıldığında, örneğin Almanca sayfaların indekslenme sorunu genel rakamların içinde kaybolur ve aylarca fark edilmez. Doğru yapı şöyle kurulur:

• /sitemap.xml → sitemap index dosyası; dil bazlı sitemap'lere işaret eder.
• /sitemap-tr.xml, /sitemap-en.xml… → her dilin yalnızca kendi kanonik URL'leri.
• robots.txt → tek satır yeterli: Sitemap: https://siteniz.com/sitemap.xml.

Araç bu senaryoda iki tipik hatayı yakalar: bir dil klasörünün (örn. /ru/) yanlışlıkla Disallow ile kapatılması ve sitemap'lerde farklı dillerin URL'lerinin birbirine karışması. Sorunlar dil bazında görünür hale geldiğinde teşhis süresi günlerden dakikalara iner; hangi dilin gerçekten dizine girdiğini doğrulamak ve düşük performanslı dile odaklanmak kolaylaşır.

Robots.txt artık yalnızca Google sıralamanızı değil, ChatGPT, Perplexity ve Google AI Overviews gibi yapay zekâ yüzeylerinde kaynak olarak alıntılanıp alıntılanmayacağınızı da belirliyor. Bir AI botunu engellemek, o platformun cevaplarında görünme şansınızı da kapatır — bu, GEO (Generative Engine Optimization) açısından bilinçli verilmesi gereken bir karardır.

Kritik ayrım, model eğitimi için tarayan botlar ile kullanıcıya cevap üretirken kaynak gösteren botlar arasındadır:

Görünürlük hedefleyen bir kurumsal site için mantıklı strateji genellikle şudur: cevap/arama botlarına açık kalın, eğitim botlarına izin verip vermemeyi ise içerik stratejinize göre ayrıca kararlaştırın. "Hepsini engelle" refleksi, markanızı AI cevap ekosisteminden tamamen silebilir. Araç, robots.txt'inizde bu botlar için hangi kuralların geçerli olduğunu tek bakışta gösterir; böylece hangi kapının kime açık olduğunu tahmin etmek yerine bilirsiniz.

Taşıma günü yapılacak ilk iş, staging ortamından gelen Disallow: / satırının canlı robots.txt'te olmadığını doğrulamaktır; ikinci iş ise sitemap'i yalnızca yeni, 200 dönen nihai URL'lerle güncellemektir. Trafik kayıplarının çoğu bu iki adımın atlanmasından doğar.

Adım adım kontrol listesi:

1. Yayına almadan önce: Staging robots.txt'i ile canlı robots.txt'in farklı olduğunu teyit edin; test ortamının engelleme kuralları canlıya taşınmamalı.
2. Yayın günü: Yeni URL yapısına göre sitemap'i yeniden üretin. Sitemap'te yönlendirme (301) veya kırık (404) URL kalmamalı — yalnızca nihai adresler listelenmeli.
3. robots.txt'i güncelleyin: Sitemap: satırı yeni sitemap adresini göstersin; eski alan adında ise robots.txt açık kalmalı ki Google 301 yönlendirmelerini tarayabilsin.
4. Search Console'a bildirin: Yeni sitemap'i gönderin, alan adı değişiyorsa Adres Değişikliği aracını kullanın.
5. İlk haftalarda izleyin: Tarama hataları ve indekslenen URL sayısındaki değişimi günlük kontrol edin.

Taşıma sonrası keşfi hızlandıran ikinci mekanizma iç link ağıdır; yeni URL yapınızın sayfalar arası bağlantılarını İç Linkleme aracıyla gözden geçirerek botlara sitemap'in yanında ikinci bir keşif yolu sunarsınız.

Üç ana gösterge yeterlidir: Search Console'daki Sitemap raporunda "keşfedilen/indekslenen" oranı, Sayfa Dizine Ekleme raporundaki hariç tutulma nedenleri ve Tarama İstatistikleri raporundaki durum kodu dağılımı. Bu üçü birlikte, iki dosyanın gerçekte ne kadar iş gördüğünü söyler.

Başarı pratikte şuna benzer:

• Sitemap raporu: Gönderilen URL sayısı ile indekslenen sayı birbirine yakınsıyor; makas açılıyorsa sitemap'te düşük değerli veya çelişkili URL'ler var demektir.
• Dizine ekleme raporu: "Robots.txt tarafından engellendi" ve "Keşfedildi – şu anda dizine eklenmedi" kalemleri zamanla azalıyor.
• Tarama istatistikleri: Googlebot isteklerinin büyük çoğunluğu 200 dönüyor; 4xx/5xx ve yönlendirme zincirleri düşük seyrediyor.
• Araç taraması: Bu sayfadaki aracı her önemli sürüm sonrası çalıştırıp kırmızı bulgu sayısının sıfır kaldığını doğruluyorsunuz.

Ölçümü aylık rutine bağlamak en sık atlanan kısımdır: robots.txt tek satırlık bir deploy hatasıyla bozulabildiği için "bir kez düzelttim, bitti" yaklaşımı risklidir. Sayfalarınız dizine girdikten sonra ise iş görünürlüğe döner; tıklama getirisi düşük kalan sorguları CTR Fırsatları aracıyla tespit edip başlık ve açıklamaları güçlendirebilirsiniz.