SEO Terimleri

Robots.txt nedir? Robots.txt dosyası nasıl oluşturulur?

Güncelleme: 28 Mart 2018 - 00:15

Robots.txt dosyası, arama motoru botlarına sitenizin hangi dizinlerine erişmesine izin verip vermediğinizi gösteren bir dosyadır. Bu dosya içerisinde izin vermediğiniz dizinlere arama motoru botları erişemez ve bu dizinde yer alan tüm sayfaları index’leyemez. Peki Robots.txt dosyası nasıl oluşturulur, nelere dikkat etmek gerekmektedir? İşte tüm detaylar…

Adı değişmeyen ve mutlaka sitenin kök dizininde yer alması gereken özel bir dosya olan Robots.txt dosyası sayesinde arama sonuçlarında çıkmasını istemediğiniz dizinleri ve sayfaları Google botlarına kapatabileceksiniz. Google botları, ilk olarak sitenize geldiğinde bu dosyaya gelecek ve içerisindeki kodları okuyacaktır. Bu kodları okuyan bir Google botu, erişemeyeceği dizinleri anlayacak ve sitenizde buna göre hareket ederek index’leme yapacaktır.

Robots.txt Dosyası Nasıl Oluşturulur?

Dosyamızı oluşturmak için ilk olarak yeni bir metin belgesi açarak adını “Robots.txt” yapalım.

Daha sonrasında dosyanın içine komutlarımızı yazmaya başlayalım.

Robots.txt dosyasında kullanılan komutlar ve anlamları şu şekildedir;

User-agent: Google botunun adını bu şekilde yazacağız. Eğer tüm Google botlarını kapsamasını istiyorsanız buraya * (yıldız) işareti koymanız yeterli olacaktır. Örneğin;

  • User-agent: *

Ancak sadece bir Google botunu hedefleyecekseniz o botun adını yazmanız gerekecektir. En çok kullanılan botlar şunlardır;

  • Googlebot – Yalnızca Google botu (User-agent: Googlebot)
  • Googlebot-Image – Yalnızca Google Görseller botu (User-agent: Googlebot-Image)
  • Googlebot-News – Yalnızca Google Haberler botu (User-agent: Googlebot-News)
  • DeepCrawl – Bir Google botu olan DeepCrawl’ı kapsar (User-agent: DeepCrawl)
  • Bingbot – Yalnızca Bing botu (User-agent: Bingbot)

Disallow: Disallow komutu, Google botlarının erişmesine izin vermediğiniz alanları gösteren bir komuttur. Yanına yazacağınız dizin, Google botları tarafından index’lenemez. Örneğin;

  • User-agent: *
  • Disallow: /

Yukarıdaki komut, sitenin tüm dizinlerini tüm botlara kapatmaktadır. Bu komutu içinde bulunduran bir dosya oluşturduğunuz takdirde hiçbir sayfanız botlar tarafından erişilmeyecek ve index’lenmeyecektir. Herhangi bir dizini veya sayfayı botların erişimine kapatmak için ise yalnızca bu dizini Disallow komutunun yanına yazmanız gerekmektedir. Örneğin;

  • User-agent: *
  • Disallow: /wp-content/
  • Disallow: /dizin/klasor/
  • Disallow: /seo/site-haritasi-nedir-site-haritasi-nasil-olusturulur/

Allow: Allow komutu ise, botların erişimine kapattığınız bir dizinde bulunan bir dosyaya/dizine botların erişmesini sağlamak amacıyla kullanılmaktadır. Örneğin yukarıdaki örnekte olduğu gibi “/dizin/klasor/” dizinini Google botlarına kapattık, ancak “klasor” dizinin içinde bulunan bir sayfayı Google botlarının erişimine açmak istiyoruz. Bunu Allow komutuyla gerçekleştiriyoruz. Örneğin;

  • User-agent: *
  • Disallow: /wp-content/
  • Disallow: /dizin/klasor/
  • Allow: /dizin/klasor/dosya.html

Yukarıda görüldüğü gibi, “/dizin/klasor/” yolunu erişime kapattık ancak “klasor” dizininin içinde bulunan “dosya.html” adlı dosyayı Allow komutuyla botların erişimine açtık. Böylece Google botları “/dizin/klasor/” yolunu index’lemeyecek ancak izin verdiğimiz “/dizin/klasor/dosya.html” yoluna erişebilecek ve index’leyecektir.

Hazırlamış olduğumuz dosyamızı sitemizin kök dizinine atmamız gerekmektedir. Dosyamızın adı asla değişmemeli ve her zaman kök dizinimizde olmalıdır. Dosyamız, “site.com/robots.txt” dizininde bulunmalı. Eğer dosyayı “site.com/klasor/robots.txt” dizinine koyarsanız Google botları bu dosyaya erişemeyecek ve izin vermediğiniz dizinleri görmediği için index’leyecektir.

robots-txt-test-araci

Robots.txt Dosyasını Google’a Bildirme

Hazırlanan ve kök dizine yerleştirilen Robots.txt dosyasını Google’a bildirmek için kullanmamız gereken araç Google Search Console’dur. Google Search Console’a giriş yaptıktan sonra sol menüde yer alan Tarama menüsünün altındaki “Robots.txt Test Aracı” seçeneğine tıklayın.

İkinci aşamada karşınıza gelen ekrana dosyanızın içine yazdığınız komutları tamamen kopyalayın ve buraya eksiksiz bir şekilde yapıştırın. Ardından “Gönder” butonuna tıklayın. Butona tıkladıktan sonra bir pop-up pencere açılacaktır. Burada dosyanızı Google’a göndermeden önce yapmanız gereken 3 aşama anlatılmaktadır. Bu aşamalar;

  1. Güncellenen kodu indirin: Düzenleyiciden, güncellenen robots.txt dosyasını indirin.
  2. Yüklenen sürümü kontrol edin: Güncellenen dosyasıyı alanınızın root dizinine yükleyin. Sonra, yüklediğiniz dosyayı kontrol ederek bu dosyanın, Google’ın kullanmasını istediğiniz sürüm olduğundan emin olun.
  3. Google’dan güncelleme yapmasını isteyin: Google’ın, dosyanızın güncellendiğini öğrenmesi için bir istek gönderin.

şeklindedir. Sırasıyla “İndir” butonuyla hazırlamış olduğunuz dosyanızı indirin. İkinci aşamada da bu dosyayı sitenizin kök dizinine ekleyin ve sonrasında “Yüklenen sürümü kontrol edin” butonuna basarak yüklediğiniz dosya içeriğinin doğruluğunu kontrol edin. (Yeni bir pencere açılacak ve bu pencere sitenizin robots.txt yolunu otomatik olarak açacaktır.)

Son aşamada ise Gönder butonuyla hazırlamış olduğunuz dosyanızı Google’a gönderin. Google, kısa süre içinde göndermiş olduğunuz robots.txt dosyasını güncelleyecektir. Dosyanız güncellendiğinde içeriği Robots.txt Test Aracı sayfasında da karşınıza çıkacaktır.

Öte yandan, sayfanın altında bulunan test aracı ile birlikte de bir dizinin dosyanız tarafından engellenip engellenmediğini görüntüleyebilirsiniz. Yer alan boşluğa dizini yazarak sağ kısımdan test etmek istediğiniz botu (Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google ve Adsbot-Google) seçebilirsiniz.

robots-txt-engellendi

Eğer sorguladığınız dizin, dosyanız tarafından engelleniyorsa “Engellendi” şeklinde bir uyarı alacaksınız.

robots-txt-izin-verildi

Eğer sorguladığınız dizin, dosyanız tarafından engellenmiyorsa “İzin Verildi” “şeklinde bir uyarı alacaksınız.

Bu bağlantılar da işinize yarayabilir;

SEO konusunda tüm içeriklere ulaşmak için SEO sayfasını ziyaret edin.
1 Yıldız2 Yıldız3 Yıldız4 Yıldız5 Yıldız (Yazıyı değerlendirmek için yandaki yıldızları kullanabilirsiniz.)
Loading...
Etiketler

Anıl Zengin

1996 yılında İstanbul'da doğdum. İstanbul Kültür Üniversitesi'nden mezun oldum. Haberturk.com'da SEO editörü olarak 2016'dan beri çalışıyorum. Bu site üzerinden de SEO hakkında bildiğim ve yeni öğrendiğim her şeyi yazıyorum. SEO hakkında bilgi sahibi olmak ve SEO yapılırken hangi yöntemlerin kullanıldığını öğrenmek için blogumu takip edebilirsiniz.

Benzer İçerikler

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Close