Robots.txt Nedir?

Robots.txt nedir? Robots.txt arama motorları tarayıcılarının sitenizi ziyareti esnasında gerekli yönlendirmeleri gerçekleştiren bir metin dosyasıdır. İlgili arama motoru tarayıcıları hangi dizinleri tarayıp taramayacağını bu metin dosyası üzerinden öğrenirler. İlgili metin dosyası UTF-8 ve ASCII formatında olmalı ve “.txt” uzantılı olmalıdır.

Bu dosya ile belirli dizinleri, belirli sayfaları, görselleri, videoları veya özel uzantılı dosyaların taranmasını engelleyebilirsiniz.

Not: Robots.txt dosyasında “Disallow” olarak belirtilen bir sayfanın dizine eklenmeyeceği garantisi verilmemektedir. Dizine eklenmesini istemediğiniz dosyanın içerisine ‘<meta name=”robots” content=”noindex”> ‘ etiketini yapıştırabilir veya ilgili dosyayı şifreleyebilirsiniz.

Bu yüzden kapsam raporunda “robots.txt tarafından engelleniyor olsa da dizine eklendi” hatası almanız mümkündür.

Robots.txt dosyası nerede olmalıdır?

İlgili dosya sitenizin kök dizininde bulunmak zorundadır. Tarayıcılar sitenizi ziyaret ettiğinde eriştikleri ilk belgedir. Örnek olarak https://siteside.net/robots.txt adresinde web sitemize ait ilgili belge bulunmaktadır.

Wix ve Blogger gibi sağlayıcıları kullanan kullanıcılar için ilgili dosyanın kullanılmasının, düzenlenmesinin mümkün olmayabileceği ve bu nedenle ilgili sağlayıcıların robots.txt tarafından taranmasını istediğiniz veya istemediğiniz sayfaları düzenlemeniz için farklı mekanizmalar sunuyor olabileceği Google tarafından belirtilmiştir.

Ancak Blogger üzerinden Kontrol Paneli > Ayarlar > Arama Tercihleri > Özel robots.txt yolu ile düzenlenebilmektedir.

Robots.txt Dosyası Oluşturmak

İlgili dosyanın sitenizin kök dizininde olması gerektiğini belirtmiştik. Linux sunucular için public_html > robots.txt Windows sunucuda barınan alan adları için httpdocs > robots.txt dizininde bulunmalıdır. Herhangi bir alt dizine yerleştirilemez.

Sitenizin kök dizininde bu dosyadan sadece 1 tane olduğuna emin olmanız gerekmektedir.

Dosyayı masaüstünüzde oluşturabilir FTP, cPanel veya Plesk Panel Dosya yöneticisi ile kök dizinize aktarabilirsiniz. İlgili panellerin dosya yöneticileri üzerinden düzenleyebilirsiniz. WordPress alt yapılı siteler için bazı eklentiler robots.txt dosyasını düzenlemenize imkan sunmaktadır. WordPress Kurulumu ile ilgili bilgiye bağlantı üzerinden ulaşabilirsiniz.

All in One SEO eklentisi için Admin paneli üzerinden All in One SEO > Araçlar > Robots.txt’yi aç butonu ile düzenleyebilirsiniz.

Yoast SEO için Araçlar > Dosya Düzenleyicisi üzerinden ilgili dosyayı düzenleyebilirsiniz.

Aynı zamanda robots.txt generator araçları üzerinden de ilgili dosyayı oluşturmanız mümkündür.

Robots.txt Talimatları Nelerdir?

Talimatlar gruplar halinde oluşturulur ve her grup hangi kullanıcının hangi dizinde hangi izne sahip olup olmadığını belirtir. Örnek olarak;

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/

Yukarıda belirtilen grupta Googlebot-Image robotunun /wp-includes/ dizinini taramasını istemediğimizi ve /wp-content/uploads/ dizinini taramasını istediğimizi belirttik.

Not: Talimatları oluştururken yukarıdan aşağıya okunduğunu ve büyük, küçük harfe duyarlı olduğunu unutmamanız gerekmektedir.

User-agent: Bu alanda talimatı veya kuralı oluşturacağınız arama motorunun adını belirtmeniz gerekmektedir. * olarak belirtmeniz durumunda bütün robotları kapsayacağını unutmamanız gerekmektedir.

Ayrıca Robots Database üzerinden( https://www.robotstxt.org/db.html)  web sitenizi tarayan robotlar hakkında bilgi edinebilirsiniz.

Disallow: İlgili robot tarafından taranmasını istemediğimiz sayfaları “Disallow” ile belirtebiliriz.

Allow: İlgili robot tarafından taranmasını istediğimiz sayfaları “Allow” ile belirtebiliriz.

Sitemap(Opsiyonel):  Robots.txt belgelerinde Sitemap(Site Haritası) yolu belirtilebilmektedir. Bir robots.txt dosyasında birden fazla sitemap yolu belirtilebilmektedir. Örnek olarak;

Sitemap: https://siteside.net/post-sitemap.xml
Sitemap: https://siteside.net/page-sitemap.xml
Sitemap: https://siteside.net/author-sitemap.xml

WordPress için Örnek Robots.txt Dosyası

User-agent: *

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-content/plugins/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: */feed/
Disallow: */trackback/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/
User-agent: ia_archiver
Disallow: /

Sitemap: https://domain.uzantisi/sitemap.xml

Yukarıda verilen örnek robots.txt dosyasını WordPress sitelerinizde kullanabilirsiniz. Kategori sayfalarının indekslenmesini istemediğim için “Disallow” olarak belirtiyorum ancak bu karar sizin inisiyatifiniz dahilindedir.

 

Sıkça Sorulan Sorular