robots.txt

Tahsildar sisteminde bulunan robots.txt alanını kullanarak robots.txt dosyanızda düzenleme sağlayabilirsiniz. robots.txt web sitemizin hangi bölümlerini ne şekilde tarayacağını direktifler ile aktarabildiğimiz txt dokümanına verilen isimdir. Bu  dökümana ulaşabilmek için Yapılandırma > robots.txt alanına giriş sağlayabilirsiniz. 

Açılan sayfaya direkitflerinizi girip işlem sağlayabilirsiniz. 

* Direktifi

Robots.txt dosyası içerisinde sıklıkla kullanılan * direktifi hem user-agent içerisinde hemde dizinler ile akalı direktiflerde tümü hepsi anlamına gelir. Herhangi bir protokol içerisinde * ifadesini kullandığınız durumda tümü (hepsini) kast ettiğiniz bilgisini robots.txt dosyanızı görüntüleyen arama motoru botlarına sağlarsınız.

Örneğin:

User-agent: *

ifadesi ile tüm user-agent tipindeki arama motoru botlarına hitap edersiniz ve bu user-agent altında barındırdığınız tüm direktifler tüm arama motoru botları için aktif olur.

User-agent: *

Allow:*

Bu şekilde bir kullanım gerçekleştirdiğinizde tüm user-agent’lar için tüm sitenin taranabilir olduğunu bildirirsiniz.

User-agent: *

Allow: */tesekkurler/

Bu şekilde bir kullanım gerçekleştirdiğinizde tüm user agent’lar için ön eki (üst klasörü) ne olursa olsun /tesekkurler/ sayfasının taranabilir olduğunu söylemiş olursunuz.

$ Direktifi

Robots.txt dosyası içerisinde sıklıkla kullanılan bir diğer direktif $ ifadesidir. * ifadesinden farklı olarak robots.txt üzerinde belirtilen herhangi bir string $ ifadesi ile sonlandırılır. Yani robots.txt üzerinde belirttiğiniz herhangi bir URL yada uzantı için $ ifadesini kullandığınızda arama motoru botları ilgili işlemin belirtilen string (metin) ile sınırlı olduğunu anlayacaktır.

Örneğin:

User-agent: Googlebot

Disallow: *.webp$

bu tarz bir robots.txt direktifinde ön eki ne olursa olsun yalnızca webp formatına sahip url’lerin (adreslerin) arama motoru botları tarafından taranmasının istenmediği bilgisini arama motoru botlarına sağlarsınız.

Bu kullanım da *. ifadesi ile ön eki (ismi) ne olursa olsun ve $ kullanımı ile de formatın yalnızca webp ile sınırlı olduğunu belirtmiş olursunuz.