SEO & GEO

Robots.txt

Arama motoru botlarına hangi alanların taranabileceği hakkında yönerge veren dosyadır.

Robots.txt taramayı yönlendirir ancak tek başına indeks engeli olarak düşünülmemelidir. Hassas sayfaları gizlemek için güvenlik aracı değildir.

Örnek Kullanım

/cart veya /checkout gibi alanlar robots.txt ile engellenebilir.