 |
| Robots.txt Nedir - Ne İşe Yarar |
robots.txt nedir? Önce bunu açıklayalım; sitenizi her zaman ziyaret eden arama motorları tarayıcılarının sitemizde erişmesini istemediğimiz yerleri göstermektedir. Sitemizin ana (kök) dizininde bulunan bir dosyadır.
Sitenizin robots.txt dosyası varsa sitenize gelen botların ilk uğradığı yer bu dosya olacaktır. Bu dosya sayesinde botları üzerine çekerek sizi girmesini istemediğiniz yerlere girmemesi gerektiğini anlayacaktır.
Eğer bu dosya yoksa işiniz çok zor demektir. Çünkü sitenizin her türlü bilgilerine ulaşabileceklerini biliyor musunuz? Yani admin panelinize, görsellerinize, şifrelerinize vb. herşeyinizi görebilirler.
Her site sahibinin kesinlikle bir robots.txt dosyası olması gerekmektedir. görüldüğü gibi çok önemli bir dosyadır. Seo açısından da google açısından da çok önemlidir.
Bu durumu engellemek için ve istemediğimiz yerlere girişi engellemek için robot s.txt kodları dosyasını oluşturmaya başlayalım.
robots.txt Nasıl Yapılır Dosyasında Kullanılan Kodlar Ne İşe Yarar:
User-agent: * Bu kod tüm botlar anlamındadır. (*) işaretin yerine tek bot adı da yazabilirsiniz.
Allow: / Bu kod bizim sitenizde hangi yerlerin dizine eklenmesini istediğimizi yazacağımızı belirtir.
Disallow: / Bu kod ise sitenizdeki hangi yerlerin dizine eklenmesini istemediğimizi yazacağımızı belirtir.
Crawl-delay Bu son kodda, sunucu hatası yaşayan, ziyaretçi trafiği bir hayli çok olan sitelerin kullandığı koddur. Bu yüzden bu site sahiplerinin botların site tarama süresini belirtmesine yaramaktadır.
Kod 1
<User-agent: *Allow: />
# Bu kodda (*) bu işaret tüm botlara istisnasız indexlemesine izni verdiğimiz anlamına gelmektedir. (*) bu işaretin yerine tek tek bot ismi yazarakta izin verebilirsiniz.
Kod 2
<User-agent: *Disallow: />
# Bu kodda sitemizdeki bazı yerlerin adlarını girerek botların bu yerleri indexlemesini engellediğimizi botlara bildirdiğimiz anlamına gelmektedir. Sitenize gelen bot buraya yazacağınız dosya adlarına girmeyeceğini anlayacaktır.
Örnek: Aşağıda belirtmiş olduğum 5 dosyayı botlar indexlemeyeceklerdir.
<User-agent: *
Disallow: /
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /index.php
Disallow: /wp-includes/>
Kod 3
<User-agent: *
Sitemap: http://www.h4cktime.com/sitemap.xml>
# Bu kod botların XML site haritası dizini indexlemesini engellemeniz içindir.