Google'ın Rehberi Siz Olun: Robots.txt ve Site Haritası ile Dijital Dünyanızın Sınırlarını Çizme Sanatı

Google'ın Rehberi Siz Olun: Robots.txt ve Site Haritası ile Dijital Dünyanızın Sınırlarını Çizme Sanatı

Web sitenizi, odaları, koridorları, halka açık salonları ve özel personel odaları olan devasa, görkemli bir saray olarak düşünün. Her gün bu sarayı ziyaret eden, her köşeyi keşfetmek, her kapıyı denemek ve gördüklerini raporlamak isteyen özel bir misafiriniz var: Googlebot. Bu misafirin enerjisi ve zamanı sınırlıdır. Onu doğru yönlendirmezseniz, zamanını kilitli personel odalarının kapılarını zorlayarak veya tuvaletleri sayarak harcayabilir ve en güzel salonlarınızı, en değerli sanat eserlerinizi (yani en önemli sayfalarınızı) görmeden saraydan ayrılabilir.

İşte bu noktada, elinizdeki iki güçlü araç devreye girer: Robots.txt ve XML Site Haritası. Robots.txt, sarayınızın girişindeki kapı bekçisidir; gelen misafire daha en başından hangi koridorların yasak, hangi kapıların kilitli olduğunu net bir şekilde söyler. XML Site Haritası ise, bu özel misafirin eline tutuşturduğunuz, tüm önemli odaların yerini gösteren, "mutlaka görmeniz gereken yerler" listesi içeren detaylı bir kat planıdır. Biri "buraya girme" der, diğeri "lütfen öncelikle buraları gör" diye yol gösterir.

Bu iki dosya, arama motorlarıyla olan iletişiminizin temelini oluşturur. Onları doğru yönetmek, tarama bütçenizi korumanın, önemli sayfalarınızın hızla keşfedilmesini sağlamanın ve sitenizin teknik SEO sağlığını en üst düzeye çıkarmanın sanatıdır. Bu kapsamlı rehberde, bu iki temel dosyanın ne olduğunu, nasıl çalıştığını, nasıl oluşturulup yönetileceğini ve en önemlisi, arama motorlarına dijital dünyanızın sınırlarını net bir şekilde çizmek için onları nasıl stratejik bir uyum içinde kullanacağınızı en ince ayrıntısına kadar öğreneceksiniz.

Robots.txt - Dijital Dünyanızın Kapı Bekçisi

Teknik SEO'nun en temel dosyasıyla başlayalım. Küçücük bir metin dosyası olmasına rağmen, yanlış bir komutla tüm sitenizi Google'dan gizleyebilecek kadar güçlüdür.

Robots.txt Nedir ve Tam Olarak Ne Yapar?

Robots.txt, bir web sitesinin kök dizininde bulunan ve "Robot Dışlama Protokolü" (Robots Exclusion Protocol) standartlarına uyan basit bir metin dosyasıdır. Temel amacı, Googlebot, Bingbot gibi arama motoru botlarına (crawler/spider), sitenin hangi bölümlerine erişmemeleri gerektiğini söylemektir.

Anahtar kelime burada "erişim"dir. Robots.txt, bir sayfanın Google'da indekslenmesini (görünmesini) engellemek için tasarlanmamıştır. Sadece o sayfaya olan tarama talebini engeller. Bu ikisi arasındaki fark hayati önem taşır ve ilerleyen bölümde detaylandıracağız.

Robots.txt Nerede Bulunur ve Nasıl Görünür?

Bu dosya her zaman sitenizin ana dizininde yer almalıdır. Yani, https://www.alanadiniz.com/robots.txt adresinden erişilebilir olmalıdır. İçeriği ise basit komut satırlarından oluşur.

Robots.txt'nin Temel Sözdizimi (Syntax)

Bir robots.txt dosyası, bir veya daha fazla kural grubundan oluşur. Her grup, iki temel bileşenden meydana gelir:

• User-agent: Bu komut, kuralın hangi arama motoru botu için geçerli olduğunu belirtir.
  • User-agent: Googlebot (Sadece Google'ın ana botu için geçerli kural)
  • User-agent: Bingbot (Sadece Bing'in botu için geçerli kural)
  • User-agent: * (Yıldız işareti, "tüm botlar" anlamına gelen bir joker karakterdir ve en yaygın kullanımdır.)
• Disallow: Bu komut, belirtilen User-agent'ın erişmemesi gereken dosya veya dizini belirtir.
  • Disallow: /ozel-dosyalar/ (Bu komut, /ozel-dosyalar/ klasörünü ve içindeki her şeyi taramaya kapatır.)
  • Disallow: /gizli-sayfa.html (Bu komut, sadece tek bir sayfayı taramaya kapatır.)
• Allow: Bu komut, Disallow kuralı içinde bir istisna yaratmak için kullanılır. Örneğin, bir klasörün tamamını engelleyip sadece içindeki tek bir dosyaya izin vermek isteyebilirsiniz.

User-agent: *
Disallow: /medya/
Allow: /medya/logo.png 

Bu kural, tüm botların /medya/ klasörünü taramasını engeller, ancak /medya/logo.png dosyasına erişmelerine izin verir.

• Sitemap: Bu komut, arama motorlarına XML site haritanızın konumunu bildirmek için kullanılır. Bu, iki dosya arasındaki en temel bağlantıdır.Sitemap: https://www.alanadiniz.com/sitemap.xml

Özel Karakterler:

• * (Yıldız): Joker karakterdir, herhangi bir karakter dizisini temsil eder.
• $ (Dolar): URL'nin sonunu belirtir. Örneğin, Disallow: /*.pdf$ komutu, .pdf ile biten tüm URL'leri engeller.
• # (Diyez): Yorum satırı eklemek için kullanılır. Bu satırlar botlar tarafından göz ardı edilir ve dosyanızı okuyan insanlar için not bırakmanızı sağlar.

E-ticaret Siteleri İçin Pratik Robots.txt Örnekleri

İşte tipik bir e-ticaret sitesi için kullanılabilecek, iyi yapılandırılmış bir robots.txt dosyası örneği:

# Bu robots.txt dosyası tüm arama motoru botları için geçerlidir.
User-agent: *

# Yönetici paneli, hesap ve ödeme sayfalarını taramayı engelle
Disallow: /admin/
Disallow: /hesabim/
Disallow: /sepet/
Disallow: /odeme/

# Sitenin dahili arama sonuç sayfalarını engelle
# Bu, sonsuz sayıda düşük kaliteli sayfa üretir
Disallow: /arama?q=*
Disallow: /?s=

# Filtreleme, sıralama ve diğer URL parametrelerini engelle
# Bu, yinelenen içeriği ve tarama bütçesi israfını önler
Disallow: /*?renk=*
Disallow: /*?beden=*
Disallow: /*?sirala=*

# Teşekkürler sayfası gibi değersiz sayfaları engelle
Disallow: /siparis-tesekkurler/

# Yorum satırı: Hassas PDF dosyalarını engelleme örneği
# Disallow: /dosyalar/gizli-rapor.pdf

# Site Haritası Konumu
Sitemap: https://www.alanadiniz.com/sitemap.xml

En Sık Yapılan Hatalar ve "Disallow: /" Kabusu

Robots.txt dosyasındaki küçük bir hata, büyük felaketlere yol açabilir.

• "Disallow: /": Bu tek satırlık komut, bir sitenin başına gelebilecek en kötü şeylerden biridir. Anlamı, "Tüm botların, sitenin kök dizininden başlayarak hiçbir şeyi taramasına izin verme" demektir. Bu, sitenizin tamamını taramaya kapatır ve kısa sürede Google dizininden kaybolmasına neden olur.
• CSS ve JavaScript Dosyalarını Engelleme: Eskiden yapılan bu hata, günümüzde sitenize ciddi zarar verir. Google, bir sayfayı kullanıcı gibi görebilmek için CSS (stil) ve JavaScript (fonksiyonellik) dosyalarını taramak ve işlemek zorundadır. Bu dosyaları engellerseniz, Google sayfanızı "kırık" olarak görür ve sıralamasını düşürebilir.

En Önemli Yanılgı: Robots.txt ve noindex Arasındaki Fark

Bu, teknik SEO'da en çok karıştırılan konudur ve doğru anlaşılması hayati önem taşır.

• Disallow (robots.txt içinde): Bu bir tarama engelidir. Google'a "Bu sokağa girme" der. Google bu sokağa girmez, ama sokağın varlığını başka bir yerden (örneğin başka bir siteden gelen bir linkten) duyarsa, sokağın adını (URL'yi) listesine ekleyebilir. Yani, robots.txt ile engellenmiş bir sayfa, eğer dışarıdan link alıyorsa, Google'da yine de görünebilir (genellikle sadece URL'si ile, içerik olmadan).
• noindex (sayfanın HTML'indeki meta etiketi): Bu bir indeksleme engelidir. <meta name="robots" content="noindex"> şeklindeki bu etiket, Google'a "Bu sokağa girebilirsin, her şeyi görebilirsin, ama gördüklerini sakın kimseye anlatma (dizine ekleme)" der. Google sayfayı tarar, noindex etiketini görür ve o sayfayı arama sonuçlarından kaldırır veya hiç eklemez.

Ne Zaman Hangisini Kullanmalısınız?

• Bir sayfanın arama sonuçlarında KESİNLİKLE görünmesini istemiyorsanız (örneğin, özel bir kampanya sayfası, kullanıcı profilleri): O sayfanın robots.txt ile taranmasını engellemeMEli, bunun yerine sayfaya noindex meta etiketi eklemelisiniz.
• Tarama bütçenizi korumak ve Google'ın değersiz, otomatik oluşturulmuş sayfa gruplarını (filtre sonuçları, dahili arama sonuçları) tarayarak zaman kaybetmesini istemiyorsanız: Bu sayfa gruplarını robots.txt içinden Disallow komutuyla engellemelisiniz.

XML Site Haritası - Arama Motorlarının VIP Tur Rehberi

Robots.txt "girilmemesi gereken" yerleri söylerken, site haritası "mutlaka görülmesi gereken" yerleri listeler.

Site Haritası (Sitemap) Nedir ve Neden Hayati Önem Taşır?

XML Site Haritası, bir web sitesindeki arama motorlarının taramasını ve dizine eklemesini istediğiniz önemli sayfaların bir listesini içeren, özel formatlı bir dosyadır. Birincil amacı, sayfa keşfini kolaylaştırmaktır. Google, sitenizdeki tüm sayfalara linkleri takip ederek de ulaşabilir, ancak site haritası bu süreci garanti altına alır ve hızlandırır. Özellikle şu durumlarda kritiktir:

• Büyük Siteler: On binlerce sayfası olan sitelerde Google'ın her sayfayı doğal yollarla keşfetmesi zordur.
• Yeni Siteler: Henüz çok fazla dış linki olmayan yeni sitelerin sayfalarını Google'a bildirmenin en hızlı yoludur.
• Zayıf İç Linklemeye Sahip Siteler: Bazı sayfalar (yetim sayfalar) site içinden yeterince link almadığı için keşfedilmeyebilir. Site haritası bu sayfaları da kapsar.

Site Haritası Formatı ve Temel Etiketleri

Bir XML site haritası, belirli bir yapıya sahip olmalıdır.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>https://www.alanadiniz.com/sayfa-1.html</loc>
      <lastmod>2025-06-25</lastmod>
      <changefreq>weekly</changefreq>
      <priority>0.8</priority>
   </url>
   <url>
      <loc>https://www.alanadiniz.com/sayfa-2.html</loc>
      ...
   </url>
</urlset>

• <urlset>: Kök etiket, dosyanın standardını belirtir.
• <url>: Her bir URL için ana etikettir.
• <loc>: Tek zorunlu etikettir. Sayfanın tam URL'sini içerir.
• <lastmod> (İsteğe bağlı): Sayfanın son değiştirilme tarihini belirtir. Google'a içeriğin ne zaman güncellendiğini söyler.
• <changefreq> (İsteğe bağlı): Sayfanın ne sıklıkla değiştiğini (always, hourly, daily, weekly, monthly, yearly, never) belirtir.
• <priority> (İsteğe bağlı): Sayfanın sitedeki diğer sayfalara göre önemini (0.0 ile 1.0 arasında) belirtir.

Önemli Not: Google, son yıllarda yaptığı açıklamalarda <changefreq> ve <priority> etiketlerini büyük ölçüde göz ardı ettiğini belirtmiştir. Bu nedenle en önemli etiketler <loc> ve <lastmod>'dur.

Site Haritası Nasıl Oluşturulur?

• Online Jeneratörler: XML-Sitemaps.com gibi siteler, belirli bir limite kadar sitenizi tarayıp size hazır bir site haritası dosyası sunar.
• Site Tarama Araçları: Screaming Frog, Sitebulb gibi profesyonel SEO araçları, sitenizi tarayarak son derece detaylı ve özelleştirilebilir site haritaları oluşturabilir.
• CMS ve Eklentiler: En yaygın ve pratik yöntem budur. WordPress'te Yoast SEO, Rank Math gibi eklentiler; Shopify gibi e-ticaret platformları ise site haritanızı sizin için otomatik olarak oluşturur ve güncel tutar.

Stratejik Yönetim - İki Dosyanın Birlikte Çalışma Sanatı

Bu iki dosyayı ayrı ayrı değil, birbirini tamamlayan bir sistem olarak düşünmek gerekir.

Girişimci Senaryosu:

Online bir mobilya mağazasının yeni SEO yöneticisi Deniz Hanım, işe başladığında ilk olarak sitenin teknik sağlığını kontrol etti. Korkunç bir manzarayla karşılaştı: robots.txt dosyası, tüm CSS ve JS dosyalarını engelliyordu, bu da Google'ın siteyi "kırık" görmesine neden oluyordu. XML site haritası ise aylardır güncellenmemişti ve içinde yüzlerce stoğu tükenmiş ürünün (404 hatası veren) linki bulunuyordu. Googlebot, zamanını hem var olmayan sayfaları taramaya çalışarak hem de sitenin nasıl göründüğünü anlayamayarak boşa harcıyordu.
Deniz Hanım'ın ilk işi, bu iki dosyayı stratejik olarak yeniden düzenlemek oldu:

Site Haritasını Temiz Tutun: Site haritanız, sitenizin en iyi, en önemli ve en güncel sayfalarının bir listesi olmalıdır. Asla şunları içermemelidir:

• noindex etiketi olan sayfalar.
• Yönlendirilmiş (301) sayfalar.
• Hata veren (4xx, 5xx) sayfalar.
• Canonical etiketi ile başka bir sayfayı işaret eden sayfalar.
• robots.txt ile engellenmiş sayfalar. (Bu, Google'a çelişkili bir sinyal gönderir: "Lütfen bu sayfayı tara" ve "Bu sayfayı tarama".)

Büyük Siteler İçin Site Haritası İndeksi Kullanın:
Bir site haritası en fazla 50.000 URL içerebilir ve 50MB boyutunu geçemez. Büyük siteler için, site haritasını daha küçük parçalara bölmek (ürünler için ayrı, kategoriler için ayrı, blog için ayrı) ve bu küçük haritaları listeleyen bir "Site Haritası İndeks" dosyası oluşturmak en iyi pratiktir. Ana sitemap.xml dosyanız aslında bu indeks dosyası olur.

Google Search Console ile Yönetim:
Bu, kontrol merkezinizdir.

• Robots.txt Test Aracı: Google Search Console içinde, robots.txt dosyanızda bir hata olup olmadığını ve belirli bir URL'yi engelleyip engellemediğini test edebilirsiniz.
• Site Haritalarını Gönderme: "Site Haritaları" bölümünden, site haritanızın (veya indeks dosyanızın) URL'sini Google'a gönderebilirsiniz.
• Hataları İzleme: Google, site haritanızı işledikten sonra, bulduğu hataları (geçersiz URL'ler, erişilemeyen sayfalar vb.) bu panelde size raporlar. Bu raporu düzenli olarak kontrol etmek kritiktir.

100.000'den fazla ürün, sayısız filtre ve dinamik olarak oluşturulan sayfalara sahip büyük bir e-ticaret platformunda, bu iki dosyayı stratejik olarak yönetmek tam zamanlı bir iştir ve yapılacak küçük bir hata milyonlarca liralık ciro kaybına neden olabilir. Hangi sayfaların taranıp hangilerinin taranmayacağına karar vermek, site haritalarını her zaman güncel ve hatasız tutmak, derin bir teknik bilgi ve sürekli bir dikkat gerektirir. İşte bu noktada, sitenizin tarama sağlığını düzenli olarak denetleyen, tarama bütçenizi en verimli şekilde kullanmanızı sağlayan ve teknik SEO'nun bu temel taşlarını sizin adınıza yöneten Solviera Dijital gibi uzman ajanslar devreye girer.

Sonuç

Robots.txt ve XML Site Haritası, sitenizin arama motorlarıyla yaptığı en temel ve en dürüst konuşmadır. Onlar, sizin dijital mülkünüzün kurallarını belirler. Biri sınırları çizer, diğeri en değerli varlıklara giden yolu aydınlatır. Bu iki dosyayı ustalıkla yönetmek, reaktif bir "Umarım Google sayfalarımı bulur" yaklaşımından, proaktif ve kendinden emin bir "Google'a tam olarak nereye bakması ve nereden uzak durması gerektiğini ben söyleyeceğim" stratejisine geçmektir. Bu, teknik SEO'nun temelidir ve sitenizin arama motorları tarafından ne kadar verimli, hızlı ve doğru bir şekilde anlaşılacağını doğrudan etkiler. Bu rehberdeki bilgi ve stratejilerle, artık siz de Google'ın rehberi olmaya hazırsınız.

İşletmenizi Bir Sonraki Seviyeye Taşımaya Hazır Mısınız?

Solviera'nın bütünsel teknoloji çözümleri hakkında daha fazla bilgi almak ve işletmenize özel bir analiz için proje danışmanlarımızla bugün iletişime geçin!

Hemen İletişime Geçin