Bu makale, Google’ın Gary Illyes’in web sitesi sahiplerine “robots.txt” dosyasını kullanarak “sepete ekle” gibi eylem URL’lerini engellemelerini tavsiye ettiğini anlatıyor. Bu, gereksiz tarayıcı trafiğini önleyerek sunucu kaynaklarının boşa harcanmasını engeller. Illyes, LinkedIn’de yaptığı bir paylaşımda, bu tür URL’lerin tarayıcılar için gereksiz olduğunu ve taranmasını istemediğinizi belirtti. Bu nedenle, “robots.txt” dosyasına bu tür URL’leri engelleyen kurallar eklemenizi öneriyor.
Örneğin, “https://example.com/product/scented-candle-v1?add_to_cart” ve “https://example.com/product/scented-candle-v1?add_to_wishlist” gibi URL’leri engellemek için “robots.txt” dosyasına bir “disallow” kuralı eklemeniz gerektiğini belirtiyor. HTTP POST yöntemi de bu tür URL’lerin taranmasını önleyebilir, ancak tarayıcılar yine de POST istekleri yapabileceğinden “robots.txt” kullanımı tavsiye ediliyor.
Bu öneri, 1990’larda tanıtılan web standartlarını yansıtıyor ve “robots.txt” protokolünün Google’ın tarama politikalarının temel bir parçası olduğunu vurguluyor. Bu basit ama etkili adım, tarayıcı etkinliğini daha iyi kontrol etmenize yardımcı olabilir.
Pazarlama ile ilgili işler yapanlar için bu makale önemlidir çünkü:
– Sunucu Yükünü Azaltma: Eylem URL’lerine yapılan gereksiz tarayıcı isteklerini engelleyerek sunucu kaynaklarını ve bant genişliğini koruyabilirsiniz.
– Tarayıcı Verimliliğini Artırma: “robots.txt” dosyanızda tarayıcıların hangi URL’leri taramaması gerektiğine dair daha net kurallar vererek, indekslenmesini ve sıralanmasını istediğiniz sayfaların daha verimli taranmasını sağlayabilirsiniz.
– Daha İyi Kullanıcı Deneyimi: Sunucu kaynakları gerçek kullanıcı eylemlerine odaklandığında, son kullanıcılar daha hızlı yükleme süreleri ve daha sorunsuz bir işlevsellik deneyimleyebilir.
– Standartlara Uyum: Bu yönergeleri uygulamak, sitenizi onlarca yıldır endüstri en iyi uygulamaları olan “robots.txt” protokol standartlarına uygun hale getirir.
Özetle, “robots.txt” direktiflerini gözden geçirmek, tarayıcı etkinliğini daha iyi kontrol etmek isteyen web siteleri için basit ama etkili bir adım olabilir.
